经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)
广义多视图分析方法(Generalized Multiview Analysis,GMA)是多视图学习领域的一种技术,旨在处理多个视图或来源的数据,以便在这些视图中找到潜在的共同结构。这种方法特别适合于处理多模态数据,其中数据可以从不同的角度或通过不同的传感器获取。GMA的一个核心思想是,虽然每个视图可能提供对数据的不同观察,但。
广义多视图分析方法(Generalized Multiview Analysis,GMA)是多视图学习领域的一种技术,旨在处理多个视图或来源的数据
,以便在这些视图中找到潜在的共同结构
。
这种方法特别适合于处理多模态数据
,其中数据可以从不同的角度或通过不同的传感器获取。
GMA的一个核心思想是,虽然每个视图可能提供对数据的不同观察,但所有视图共享一个潜在的共同表示。
公式和解释
典型相关分析(CCA)的扩展
广义多视图分析方法可以看作是对典型相关分析(CCA)的扩展
。CCA是一种统计
方法,用于寻找两个随机变量集合之间的线性关系
,最大化它们之间的相关性
。对于多视图数据,GMA尝试最大化所有视图之间的相关性,而不仅仅
是两两之间的。
目标函数
假设我们有 VVV 个视图的数据,每个视图的数据集
可以表示为 XvX_vXv,其中 v=1,2,...,Vv = 1, 2, ..., Vv=1,2,...,V。
对于每个视图
,我们想要找到一个投影
WvW_vWv 使得投影后的数据 Zv=Wv⊤XvZ_v = W_v^\top X_vZv=Wv⊤Xv 在所有视图的共同子空间中具有最大的相关性。
GMA的目标函数
可以表示为:
maxWv∑i≠jtr(Wi⊤CijWj)∑vtr(Wv⊤CvvWv) \max_{W_v} \frac{\sum_{i \neq j} \text{tr}(W_i^\top C_{ij} W_j)}{\sum_{v} \text{tr}(W_v^\top C_{vv} W_v)} Wvmax∑vtr(Wv⊤CvvWv)∑i=jtr(Wi⊤CijWj)
其中,
- CijC_{ij}Cij 是视图 iii 和视图 jjj 之间的
互协方差矩阵。
- CvvC_{vv}Cvv 是视图 vvv 的
自协方差矩阵。
- tr\text{tr}tr 表示矩阵的
迹
(trace),即对角元素的总和。
- WvW_vWv 是第 vvv 视图的
投影矩阵
,用于将该视图的数据映射到共享的低维子空间。
公式解释
-
互协方差矩阵 CijC_{ij}Cij:衡量视图 iii 和视图 jjj
之间的线性相关性
。它是通过计算两个视图中相应特征的平均乘积来获得的。
-
自协方差矩阵 CvvC_{vv}Cvv:描述视图 vvv
内部特征的线性相关性
。它通过计算视图 vvv 中特征的协方差矩阵得到。
-
投影矩阵 WvW_vWv:用于将原始数据 XvX_vXv 映射到一个
低维空间
。目的是找到一个空间,在这个空间中,所有视图的数据尽可能相关。
约束条件
通常,还需要一些约束条件来防止 WvW_vWv 发散。常见的约束是让 WvW_vWv 正交
,即 Wv⊤Wv=IW_v^\top W_v = IWv⊤Wv=I,其中 III 是单位矩阵
。这样可以确保投影矩阵不会放大任何特定的特征,从而保持数据的尺度不变性。
实现
广义多视图分析方法的实现通常涉及到求解一个广义特征值问题
,这可能需要数值线性代数技巧,如奇异值分解(SVD)或广义特征值分解。
GMA提供了一种强大的工具来处理多视图数据,特别是在需要融合来自不同源的信息
以进行更准确的分类、聚类或预测时。
通过最大化视图之间的相关性,GMA能够揭示隐藏在多模态数据背后的潜在结构,这对于许多高级数据分析任务至关重要。

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)