一、PCA

PCA做什么?找坐标系。

目标?二维降到一维,信息保留最多。

怎么样最好?数据分布最分散的方向(方差最大),作为主成分(坐标轴)。

二、怎么找主成分?

PC1的确定:每个点的 b^{2} 之和最小,c^{2} 之和最大。

PC2的确定:过原点,且与PC1垂直。

PCA降维的核心思想是:用少数几个最重要的方向(主成分PC1)来表示数据,而不是用所有方向。

为什么可以降噪?

  1. 舍弃次要方向: 噪声(偏离的点)通常分布在次要方向(如PC2)上,降维时舍弃这些方向,相当于过滤了一部分噪声。

  2. 压缩噪声的影响: 即使噪声点在PC1上仍有偏离,它们的偏离程度比在原始数据中要小。

三、特征值与特征向量

(一)特征向量

简单来说,特征向量定义了新的坐标轴的方向

(二)特征值

特征值表示了每个主成分在数据集中的方差贡献率

(三)碎石图

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐