数据异常的三种主要类型

(1)违背常识的错误

比如调查上海市某小区居民的月收入,出现了小王的收入为-5000,这就属于异常值

(2)数据的离群值

离群值是指与其他数据差异较大,会对数据分析结果产生影响的观测值,比如说一个人月收入是1000000000000000000000000元

离群值的判断和处理:
1.检查同一客户原表里面是否有同样的数值
2.再检查这个数据是怎样收集来的
3.从技术角度评估是否是离群,如何对离群进行处理

(3)数据格式不一样

比如其他数字都是5000,10000,1000这样,有几个是999,
要考虑是否技术人员用999来填补空缺值?或者是这个人随便乱填的?系统中是否是可选值?

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐