检测概率和虚警概率_机器学习之---异常检测法
//本文为作者原创,在同名公众号和CSDN账号同步发布,欢迎大家关注//异常检测算法是应用广泛的机器学习算法,主要应用在产品质量检测、个人信用评估等方面。异常检测算法的原理:异常检测算法的核心是高斯分布(正态分布),具体方法是评估每个特征是否集中在正常范围内,即正常范围内特征变量对应的概率就高,异常的特征变量出现的概率低。异常检测算法的输出是每个特征向量所得概率的乘积,当输出小于一定的阈值就认为该
//本文为作者原创,在同名公众号和CSDN账号同步发布,欢迎大家关注//
异常检测算法是应用广泛的机器学习算法,主要应用在产品质量检测、个人信用评估等方面。
异常检测算法的原理:异常检测算法的核心是高斯分布(正态分布),具体方法是评估每个特征是否集中在正常范围内,即正常范围内特征变量对应的概率就高,异常的特征变量出现的概率低。异常检测算法的输出是每个特征向量所得概率的乘积,当输出小于一定的阈值就认为该输入是一个异常样本。
数据集的分布:异常检测数据集也分为训练集、验证集和测试集。训练集全部是无标签正常样本,用来训练形成一个正常样本的高斯分布函数。验证集中是有标签的正常样本和异常样本,用来修正正和提高算法检测异常的能力。测试集也是有标签的正常和异常样本用来测试算法的异常检测成功率。
异常检测算法衡量标准:用于异常检测的样本具有很高的斜偏率,所以必须引入查准率和召回率来衡量算法。
选择监督学习方法还是异常检测方法?首先两种方法都能用来判断是否异常,但是应用在不同的情况下,监督学习的方法应用在正常样本和异常样本都有充足数据集的情况,异常检测方法应用在正常样本充足,异常样本不足且不可预测的情况。
输入的特征不符合高斯分布怎么办?可以使用对数函数和幂函数进行转换,调整参数使数据符合高斯分布。
多元高斯分布:有时候两个特征变量之间呈现一定的线性关系,这时候单独算两个特征变量的概率容易造成较大的误差,这时候使用多元高斯分布的方法更有效。多元高斯分布可以自主相关的特征,可以提高算法的准确率,不足之处在于计算量慢。
//若有不足欢迎大家交流指正指正//
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)