广义多视图分析方法(Generalized Multiview Analysis,GMA)是多视图学习领域的一种技术,旨在处理多个视图或来源的数据,以便在这些视图中找到潜在的共同结构

这种方法特别适合于处理多模态数据,其中数据可以从不同的角度或通过不同的传感器获取。

GMA的一个核心思想是,虽然每个视图可能提供对数据的不同观察,但所有视图共享一个潜在的共同表示。

公式和解释

典型相关分析(CCA)的扩展

广义多视图分析方法可以看作是对典型相关分析(CCA)的扩展。CCA是一种统计方法,用于寻找两个随机变量集合之间的线性关系,最大化它们之间的相关性。对于多视图数据,GMA尝试最大化所有视图之间的相关性,而不仅仅是两两之间的。

目标函数

假设我们有 VVV 个视图的数据,每个视图的数据集可以表示为 XvX_vXv,其中 v=1,2,...,Vv = 1, 2, ..., Vv=1,2,...,V
对于每个视图,我们想要找到一个投影 WvW_vWv 使得投影后的数据 Zv=Wv⊤XvZ_v = W_v^\top X_vZv=WvXv 在所有视图的共同子空间中具有最大的相关性。

GMA的目标函数可以表示为:

max⁡Wv∑i≠jtr(Wi⊤CijWj)∑vtr(Wv⊤CvvWv) \max_{W_v} \frac{\sum_{i \neq j} \text{tr}(W_i^\top C_{ij} W_j)}{\sum_{v} \text{tr}(W_v^\top C_{vv} W_v)} Wvmaxvtr(WvCvvWv)i=jtr(WiCijWj)

其中,

  • CijC_{ij}Cij 是视图 iii 和视图 jjj 之间的互协方差矩阵。
  • CvvC_{vv}Cvv 是视图 vvv自协方差矩阵。
  • tr\text{tr}tr 表示矩阵的(trace),即对角元素的总和。
  • WvW_vWv 是第 vvv 视图的投影矩阵,用于将该视图的数据映射到共享的低维子空间。
公式解释
  • 互协方差矩阵 CijC_{ij}Cij:衡量视图 iii 和视图 jjj 之间的线性相关性。它是通过计算两个视图中相应特征的平均乘积来获得的。

  • 自协方差矩阵 CvvC_{vv}Cvv:描述视图 vvv 内部特征的线性相关性。它通过计算视图 vvv特征的协方差矩阵得到。

  • 投影矩阵 WvW_vWv:用于将原始数据 XvX_vXv 映射到一个低维空间。目的是找到一个空间,在这个空间中,所有视图的数据尽可能相关。

约束条件

通常,还需要一些约束条件来防止 WvW_vWv 发散。常见的约束是让 WvW_vWv 正交,即 Wv⊤Wv=IW_v^\top W_v = IWvWv=I,其中 III单位矩阵
这样可以确保投影矩阵不会放大任何特定的特征,从而保持数据的尺度不变性。

实现

广义多视图分析方法的实现通常涉及到求解一个广义特征值问题,这可能需要数值线性代数技巧,如奇异值分解(SVD)或广义特征值分解。

GMA提供了一种强大的工具来处理多视图数据,特别是在需要融合来自不同源的信息以进行更准确的分类、聚类或预测时。

通过最大化视图之间的相关性,GMA能够揭示隐藏在多模态数据背后的潜在结构,这对于许多高级数据分析任务至关重要。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐