降维是图像学中将图像高维数据转化为低维特征向量的技术，其核心是通过提取流形本征结构降低计算复杂度并提升识别精度。本文介绍几种降维方法。

PCA

PCA是一种线性正交变换，将数据投影到方差最大的正交方向上。其核心思想是：找到一组正交基，使得数据在这些基上构成的子空间的投影具有最大方差。

数学过程

假设数据集包含N个样本，每个样本有D个特征。即$X=[x_1,...,x_N{]}^T,x_i\in {\mathbb{R}}^D,X\in {\mathbb{R}}^{N\times D}$。

目标是降维到K维，即$Y=[y_1,...,y_N{]}^T,y_i\in {\mathbb{R}}^K,Y\in {\mathbb{R}}^{N\times K}$

1. 数据中心化

   首先计算数据均值$\mu =\frac{1}{N}{\sum }_{i=1}^N{x}_i$，每个样本的特征减去该样本的均值，即$\bar{X}=X-{\mathbb{I}}_N\mu$

2. 计算协方差矩阵

   即$C=\frac{1}{N-1}{\bar{X}}^T\bar{X}$，其中$C\in {\mathbb{R}}^{D\times D}$为协方差矩阵。

3. 最大化方差

   假设将${\bar{x}}_i$投影在基为$w=w_1,...,w_K$上的子空间，$w_k\in {\mathbb{R}}^D,\Vert w\Vert =1$，即$z_i=w^T{\bar{x}}_i$。则方差
   $$Var(z_i)=\frac{1}{N-1}\sum _{i=1}^N{z}_i^2=\frac{1}{N-1}\sum _{i=1}^N(w^T{\bar{x}}_i{)}^2=w^{T}Cw$$
   从而要最大化方差，只需要求解约束问题
   $$\underset{w}{\max }{w}^{T}Cws.t.w^{T}w=1$$
   利用拉格朗日乘子法，则有拉格朗日函数
   $$L(w,\lambda )=w^{T}Cw-\lambda (w^{T}w-1)$$
   对$w$求导
   $$\frac{\partial L(w,\lambda )}{\partial w}=2Cw-2\lambda w=0$$
   从而有$w$为$C$的特征向量，$\lambda$为$C$的特征值。故${\max }_w{w}^{T}Cw={\max }_w\lambda w^{T}w$，这说明$w$为$C$中最大K个特征值对应的特征向量。

4. 特征值分解并投影

   对$C$进行特征值分解，即$C=V\Lambda V^T$，其中$V$为$C$的特征向量组成的矩阵，$\Lambda$为$C$的特征值组成的对角矩阵。则$C$的最大K个特征值对应的特征向量为$V$的前K列$V_K=[v_1,...,v_K]$。

   从而$y_i=V_K^T{\bar{x}}_i$，即$Y=\bar{X}{V}_K$

MNIST数据集

在MNIST数据集中，每个样本为28x28的灰度图像，共784个特征。现在我们将其降到2维。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import fetch_openml
from sklearn.preprocessing import StandardScaler

# 加载MNIST数据集
mnist = fetch_openml('mnist_784', version=1, as_frame=False)
X, y = mnist.data, mnist.target.astype(int)

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 应用PCA降维到2D
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# 绘制2D散点图
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='tab10', s=5)
plt.colorbar(scatter, ticks=range(10))
plt.title('PCA of MNIST Dataset')
plt.xlabel('First Principal Component')
plt.ylabel('Second Principal Component')
plt.show()

可以看到没有很好的分开不同的数字

t-SNE

t-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非线性降维算法，主要用于高维数据的可视化。它由 Laurens van der Maaten 和 Geoffrey Hinton 在 2008 年提出，特别适合将高维数据（如图像、文本、基因数据等）映射到二维或三维空间，以便人类直观地观察数据的结构和聚类情况。

数学过程

假设数据集包含N个样本，每个样本有D个特征。即$X=[x_1,...,x_N{]}^T,x_i\in {\mathbb{R}}^D,X\in {\mathbb{R}}^{N\times D}$。

目标是降维到K维，即$Y=[y_1,...,y_N{]}^T,y_i\in {\mathbb{R}}^K,Y\in {\mathbb{R}}^{N\times K}$

高维空间相似度计算（P矩阵构建）

1. 条件概率$p_{j|i}$

t-SNE首先在高维空间中计算相似度。对于每个点$x_i$，定义以$x_i$为中心的高斯分布，计算$x_j$出现在$x_i$附近的条件概率：

$$p_{j|i}=\frac{\exp (-\Vert x_i-x_j{\Vert }^2/2{\sigma }_i^2)}{{\sum }_{k\ne i}\exp (-\Vert x_i-x_k{\Vert }^2/2{\sigma }_i^2)}$$

其中：

• $\Vert x_i-x_j{\Vert }^2$是欧氏距离的平方
• ${\sigma }_i$是高斯分布的标准差，对每个点$x_i$单独确定

2. 对称化概率$p_{ij}$

原始SNE使用有向的条件概率，但t-SNE将其对称化，定义联合概率：

$$p_{ij}=\frac{p_{j|i}+p_{i|j}}{2N}$$

这样，$p_{ij}=p_{ji}$，且${\sum }_{i\ne j}{p}_{ij}=1$。对称化有助于减少计算复杂度并提高稳定性。

3. 困惑度(Perplexity)与${\sigma }_i$的确定

困惑度定义为：

$$Perp(P_i)=2^{H(P_i)}$$

其中$H(P_i)=-{\sum }_j{p}_{j|i}{\log }_2{p}_{j|i}$是概率分布$P_i$的香农熵。

困惑度实际上衡量了有效邻域大小，值越大表示考虑更多邻居。t-SNE通过二分搜索为每个点$x_i$找到合适的${\sigma }_i$，使得$Perp(P_i)$等于用户指定的困惑度值。

低维空间相似度计算（Q矩阵构建）

在低维空间中，t-SNE使用自由度为1的t分布（即Cauchy分布）而非高斯分布来计算相似度：

$$q_{ij}=\frac{(1+\Vert y_i-y_j{\Vert }^2{)}^{-1}}{{\sum }_{k\ne l}(1+\Vert y_k-y_l{\Vert }^2{)}^{-1}}$$

这里的关键区别：

• 分子使用$(1+\Vert y_i-y_j{\Vert }^2{)}^{-1}$而非高斯分布
• 分母是所有点对的相似度之和

使用t分布（长尾分布）的主要原因是解决"拥挤问题"（crowding problem）——高维空间中距离适中的点在低维表示中往往过于拥挤。t分布的长尾特性使远距离点在低维空间中可以相距更远。

目标函数：KL散度最小化

t-SNE的目标是找到低维表示$Y$，使$P$和$Q$尽可能相似。使用KL散度作为衡量标准：

$$C=KL(P||Q)=\sum _{i\ne j}{p}_{ij}\log \frac{p_{ij}}{q_{ij}}$$

KL散度是非对称的，对$P$中大的$p_{ij}$值赋予更高权重。这意味着t-SNE更关注保留数据的局部结构（即相似点之间的关系），而对远距离点的精确表示要求较低。

为了最小化KL散度，我们需要计算其关于低维表示$y_i$的梯度。这是t-SNE优化的核心。

1. KL散度重写

首先，将KL散度重写为：

$$C=\sum _{i\ne j}{p}_{ij}\log p_{ij}-\sum _{i\ne j}{p}_{ij}\log q_{ij}$$

由于第一项与$Y$无关，优化问题简化为最大化${\sum }_{i\ne j}{p}_{ij}\log q_{ij}$。

2. 梯度计算

对$y_i$求偏导：

$$\frac{\partial C}{\partial y_i}=4\sum _j(p_{ij}-q_{ij})(y_i-y_j)(1+\Vert y_i-y_j{\Vert }^2{)}^{-1}$$

推导过程：SNE与t-SNE梯度的推导

随后使用梯度下降法最小化KL散度。

应用于MNIST数据集

在MNIST数据集中，每个样本为28x28的灰度图像，共784个特征。现在我们将其降到2维。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from sklearn.datasets import fetch_openml

# 加载MNIST数据集
mnist = fetch_openml('mnist_784', version=1, as_frame=False)
X, y = mnist.data, mnist.target.astype(int)

# 应用t-SNE降维到2D
tsne = TSNE(n_components=2, perplexity=30, n_iter=1000, random_state=42)
X_tsne = tsne.fit_transform(X)

# 绘制2D散点图
plt.figure(figsize=(10, 8))
scatter = plt.scatter(X_tsne[:, 0], X_tsne[:, 1], c=y, cmap='tab10', s=5)
plt.colorbar(scatter, ticks=range(10))
plt.title('t-SNE of MNIST Dataset')
plt.xlabel('t-SNE Component 1')
plt.ylabel('t-SNE Component 2')
plt.show()

可以看到基本分开了各类数字。

UMAP

UMAP的核心思想是：数据位于高维空间中的低维流形上，且该流形具有均匀的黎曼度量。UMAP通过构建高维数据的模糊拓扑表示来捕捉这种结构。

数学过程

假设数据集包含N个样本，每个样本有D个特征。即$X=[x_1,...,x_N{]}^T,x_i\in {\mathbb{R}}^D,X\in {\mathbb{R}}^{N\times D}$。

目标是降维到K维，即$Y=[y_1,...,y_N{]}^T,y_i\in {\mathbb{R}}^K,Y\in {\mathbb{R}}^{N\times K}$

高维空间拓扑结构构建（模糊单纯复形）

1. 局部距离缩放参数

对于每个点$x_i$：

• 找到其$k$个最近邻（$k$为n_neighbors参数）
• 令 ρ i = min ⁡ { d ( x i , x j ) ∣ j ∈ N k ( i ) } \rho_i = \min\{d(x_i, x_j) | j \in \mathcal{N}_k(i)\} ρi​=min{d(xi​,xj​)∣j∈Nk​(i)}，即$x_i$到其第$k$个最近邻的距离
• 确定局部距离缩放参数${\sigma }_i$，使得：
  $$\sum _{j\in {\mathcal{N}}_k(i)}\exp \left(-\frac{d(x_i,x_j)-{\rho }_i}{{\sigma }_i}\right)={\log }_2(k+1)$$

这个方程确保了在$x_i$周围的局部区域内，有大约$k$个有意义的连接。${\sigma }_i$通过数值方法（如二分法）求解。

2. 高维模糊集相似度

在高维空间中，定义点$i$和$j$之间的模糊集相似度：
$${\pi }_{ij}=\{\begin{array}{ll}\exp \left(-\frac{d(x_i,x_j)-{\rho }_i}{{\sigma }_i}\right)& \text{if }d(x_i,x_j)\ge {\rho }_i\\ 1& \text{if }d(x_i,x_j)<{\rho }_i\end{array}$$

${\pi }_{ij}$表示在高维流形上，点$i$和$j$属于同一局部邻域的"可能性"。注意：

• ${\pi }_{ij}\in [0,1]$
• ${\pi }_{ij}$是非对称的（${\pi }_{ij}\ne {\pi }_{ji}$）

3. 对称化相似度

UMAP使用T-范数（T-norm）对相似度进行对称化，通常选择概率T-范数：
$$p_{ij}={\pi }_{ij}+{\pi }_{ji}-{\pi }_{ij}\cdot {\pi }_{ji}$$

这等价于：
$$p_{ij}=1-(1-{\pi }_{ij})(1-{\pi }_{ji})$$

对称化后的$p_{ij}$表示$i$和$j$在高维流形上连接的总体可能性，并设置$p_{ii}=0$（无自连接）

低维空间相似度计算

在低维空间中，UMAP使用连续的相似度函数来近似高维的模糊拓扑结构。

1. 低维相似度函数

定义低维空间中点$i$和$j$的相似度：
$${\mu }_{ij}=\frac{1}{1+a\cdot \Vert y_i-y_j{\Vert }^{2b}}$$

其中$a$和$b$是超参数，通过拟合以下方程确定：
$$\sum _{i\ne j}\frac{1}{1+a\cdot d_{ij}^{2b}}=\frac{N}{2}\cdot {\text{min\_dist}}^{-b}$$

这里：

• $d_{ij}$是低维空间中标准化的距离
• min_dist是用户指定的参数，控制聚类的紧密度（通常0.001-0.5）

2. 对称化低维相似度

与高维空间类似，定义低维空间的对称相似度：
$$q_{ij}={\mu }_{ij}+{\mu }_{ji}-{\mu }_{ij}\cdot {\mu }_{ji}$$

但实际实现中，由于${\mu }_{ij}$已是对称函数（$\Vert y_i-y_j\Vert =\Vert y_j-y_i\Vert$），所以通常简化为：
$$q_{ij}=\frac{1}{1+a\cdot \Vert y_i-y_j{\Vert }^{2b}}$$

目标函数：交叉熵最小化

UMAP的目标是找到低维表示$Y$，使高维拓扑结构$p_{ij}$与低维拓扑结构$q_{ij}$尽可能匹配。与t-SNE使用KL散度不同，UMAP最小化交叉熵：

$$C=\sum _{i\ne j}\left[p_{ij}\log \left(\frac{p_{ij}}{q_{ij}}\right)+(1-p_{ij})\log \left(\frac{1-p_{ij}}{1-q_{ij}}\right)\right]$$

应用于MNIST数据集

在MNIST数据集中，每个样本为28x28的灰度图像，共784个特征。现在我们将其降到2维。

可以看到，UMAP方法对MNIST数据集划分的最好。