1. 主成分分析是什么？

主成分分析是一种特征降维的方法。

学习理论中，特征是要剔除与标签无关的特征。比如“汽车的颜色”与“汽车的速度”无关；

主成分分析要处理与标签有关、但是存在噪声或冗余的特征。比如在一个汽车样本中，“千米/小时”与“英里/小时”中有一个冗余了。

主成分分析的方法比较直接，只要计算特征向量就可以降维了。

2.因子分析是什么？

因子分析是一种数据简化技术，是一种数据的降维方法。

因子分析可以从原始高维数据中，挖掘出仍然能表现众多原始变量主要信息的低维数据。此低维数据可以通过高斯分布、线性变换、误差扰动生成原始数据。

因子分析基于一种概率模型，使用EM算法来估计参数。

3.独立成分分析是什么？

独立成分分析是一种主元分解的方法。

基本思想是从一组混合的观测信号中分离出独立信号。比如在一个大房间里，很多人同时在说话，样本是这个房间里各个位置的一段录音，ICA可以从这些混合的录音中分离出每个人独立的说话的声音。

ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的就是一个解混的过程。

4.多维缩放是什么？

多维缩放的目标是在降维的过程中将数据的差异性保持下来，也可以理解降维让高维空间中的距离关系与低维空间中距离关系保持不变。