[论文解读] Multi-set Canonical Correlation Analysis simply explained

Lucas C. Parra|ArXiv.org|Feb 11, 2018

Sensory Analysis and Statistical MethodsAgricultural and Biological Sciences参考文献 12被引用 17

一句话总结

本文通过计算矩阵 $\mathbf{D}^{-1}\mathbf{R}$ 的特征向量，提出了一种简单的一步法多集典型相关分析（MCCA）解法，其中 $\mathbf{R}$ 是拼接数据的协方差矩阵，$\mathbf{D}$ 是其分块对角矩阵。该方法在无需额外约束的情况下最大化组间相关性（ISC），且等价于先进行PCA白化处理，再对拼接数据进行PCA的两步法。

ABSTRACT

There are a multitude of methods to perform multi-set correlated component analysis (MCCA), including some that require iterative solutions. The methods differ on the criterion they optimize and the constraints placed on the solutions. This note focuses perhaps on the simplest version, which can be solved in a single step as the eigenvectors of matrix ${\bf D}^{-1} {\bf R}$. Here ${\bf R}$ is the covariance matrix of the concatenated data, and ${\bf D}$ is its block-diagonal. This note shows that this solution maximizes inter-set correlation (ISC) without further constraints. It also relates the solution to a two step procedure, which first whitens each dataset using PCA, and then performs an additional PCA on the concatenated and whitened data. Both these solutions are known, although a clear derivation and simple implementation are hard to find. This short note aims to remedy this.

研究动机与目标

• 提供一种清晰、简洁的多集CCA（MCCA）方法的推导，该方法最大化组间相关性（ISC）
• 证明MCCA的解可通过 $\mathbf{D}^{-1}\mathbf{R}$ 的特征向量在一步内获得，避免迭代优化
• 阐明一步特征向量解与两步法（即对每个数据集先进行PCA白化，再对拼接的白化数据进行PCA）之间的等价性
• 提供一种直接的实现方式，使该方法即使在先前公式较为复杂的情况下也易于使用

提出的方法

• 该方法将MCCA表述为最大化组间协方差与组内协方差之比，将组间相关性（ISC）定义为 $\rho = \frac{1}{N-1} \frac{r_B}{r_W}$
• 通过令 $\rho$ 对每个投影向量 $\mathbf{v}^l$ 的导数为零，推导出优化问题，得到广义特征值方程 $\mathbf{R}\mathbf{v} = \mathbf{D}\mathbf{v}\lambda$
• 解为 $\mathbf{D}^{-1}\mathbf{R}$ 的特征向量，最大特征值对应于最大的ISC
• 证明该方法等价于两步过程：首先对每个数据集进行PCA以实现白化，然后对拼接的白化数据进行PCA
• 变换矩阵 $\mathbf{V}$ 计算为 $\mathbf{V} = \mathbf{U}\mathbf{\Lambda}^{-1/2}\tilde{\mathbf{V}}$，其中 $\mathbf{U}$ 和 $\mathbf{\Lambda}$ 来自第一步PCA，$\tilde{\mathbf{V}}$ 来自第二步
• 提供了一段MATLAB实现代码，使用标准特征分解计算解，最大特征值对应最高的ISC

实验结果

研究问题

• RQ1 如何通过清晰的数学推导，以一步、非迭代的方式求解多集典型相关分析（MCCA）？
• RQ2 一步法中 $\mathbf{D}^{-1}\mathbf{R}$ 特征向量解与两步法（即对每个数据集先白化，再对拼接数据进行PCA）之间存在何种关系？
• RQ3 该一步解是否自然地强制各分量之间互不相关？如果是，其机制是什么？
• RQ4 与其它MCCA公式相比，该方法在简洁性、可解释性及计算效率方面表现如何？
• RQ5 该方法是否能够高效且稳健地实现，特别是在高维低样本量的情况下？

主要发现

• MCCA的一体化解由 $\mathbf{D}^{-1}\mathbf{R}$ 的特征向量给出，其中 $\mathbf{R}$ 为完整协方差矩阵，$\mathbf{D}$ 为其分块对角矩阵，且该解能最大化组间相关性（ISC）
• 该解自动确保后续分量与之前分量不相关，因为特征向量对 $\mathbf{D}$ 实现对角化，满足标准正交性约束
• 该方法在数学上等价于两步过程：首先对每个数据集独立进行PCA以实现白化，然后对拼接的白化数据进行PCA
• 最大特征值 $\lambda$ 对应于最大ISC，关系为 $\rho = \frac{\lambda - 1}{N - 1}$，且 $\rho \leq 1$
• 当 $N = 2$ 时，该方法退化为标准CCA，此时所得 $\rho$ 等于皮尔逊相关系数
• 提供了一段直接的MATLAB实现，使用标准特征分解计算解，最后一个特征向量对应于最大ISC