异常检测 and 无监督学习(1)
异常检测顾名思义就是检测异常。当产生的数据或者现象偏离正常集群时,我们认为其异常。其中,做好异常检测的预测与判断可以帮助很多行业减少损失。在这小节,先来学习一下异常检测与无监督学习。............
前言
异常检测顾名思义就是检测异常。当产生的数据或者现象偏离正常集群时,我们认为其异常。其中,做好异常检测的预测与判断可以帮助很多行业减少损失。在这小节,我们先来学习一下异常检测与无监督学习。
一、异常检测
1、是什么
异常点检测,通常也被称为离群点检测,是找出与预期对象的行为差异较大的对象的一个检测过程。检测出来的数据被称为异常点或者离群点。异常点在生产生活中有比较多的应用,例如广告点击反作弊、设备损坏等。异常点是一个数据对象,明显不同于其他的数据对象。
2、前提假设
(1) 异常数据跟样本中大多数数据不太一样;
(2) 异常数据在整体数据样本中占比相对比较小。
3、意义
(1)很多场景没有标签或者标签比较少,不能训练监督模型(因此异常检测一般是无监督的);
(2) 样本总是在发生变换,只能从一个小群体内部发现异常;
(3)异常检测假设异常样本数据量占比较少,并且在某种维度上远离其他样本,符合个体异常的先验知识,在团体异常不太适用;
(4) 样本群体有异构成分,可以对样本进行筛选。
二、无监督学习
1、是什么
无监督学习是机器学习领域内的一种学习方式。从名字来看就是没有监督的学习方式。
2、监督学习VS无监督学习
(1)监督学习是一种目的明确的训练方式,你知道得到的是什么;而无监督学习则是没有明确目的的训练方式,你无法提前知道结果是什么。
(2)监督学习需要给数据打标签;而无监督学习不需要给数据打标签。
(3)监督学习由于目标明确,所以可以衡量效果;而无监督学习几乎无法量化效果如何。
(4)监督学习训练模型需要大量的数据集;而无监督学习不需要训练集进行模型的训练。
总结
通过无监督学习,我们可以快速把行为进行分类,虽然我们不知道这些分类意味着什么,但是通过这种分类,可以快速排出正常的用户,更有针对性的对异常行为进行深入分析。因此,在异常检测中,使用无监督算法辅以离群算法的加成,我们可以判断出哪些节点原理正常集群,从而进行判断。
以上内容参考自以下网站:
https://blog.csdn.net/weixin_41362649/article/details/105192615(无监督算法与异常检测)
https://easyai.tech/ai-definition/unsupervised-learning(无监督学习 – Unsupervised learning | UL)

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)