pyod github项目地址:https://github.com/yzhao062/pyod

pyod 文档地址:https://pyod.readthedocs.io/en/latest/

数据源:https://github.com/zrnsm/pyculiarity/blob/master/tests/raw_data.csv

算法思路

使用KNN进行异常检测的算法思路有两种:

思路1:

  1. 把异常检测看做是二分类任务,正常样本就是0,异常样本是1
  2. 直接用KNN的分类器进行建模(例sklearn使用:KNeighborsClassifier)

这也是在进行KNN异常检测复现时常见的流程

思路2:

  1. 因为大量样本都是正样本,只有极少数是负样本,因此我们可以建立几个类别,用城墙把这几个类别围起来,城墙里面的都是正样本,城墙外面的就是负样本
  2. 因此KNN会拟合已有数据,分成几个类,然后计算每个点到类的簇中心的聚类(神似聚类),不断迭代优化
  3. 这样我们新来一个样本点,直接计算它离每个簇中心的距离,一定范围内则为正样本,范围外则为异常样本(这个范围由算法拟合而出)

代码示例

from pyod.models.knn import KNN  # 使用KNN异常检测
import pandas as pd


def get_data():
    data_df = pd.read_csv("raw_data.csv", index_col=0)
    return data_df


if __name__ == '__main__':
    series_df = get_data()
    anomaly_detection_model = KNN()
    anomaly_detection_model.fit(series_df['count'].values.reshape(-1, 1))
    y_train_pred = anomaly_detection_model.labels_  # 得到数据上的分类标签(0:正常值, 1:异常值)
    y_train_scores = anomaly_detection_model.decision_scores_  # 返回训练数据上的异常值,分值越大越异常

参考文章

Python异常检测包:PyOD:https://www.biaodianfu.com/pyod.html

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐