[论文解读] Sparse Canonical Correlation Analysis

David R. Hardoon, John Shawe‐Taylor|ArXiv.org|Aug 19, 2009

Face and Expression Recognition参考文献 24被引用 18

一句话总结

本文提出稀疏典型相关分析（SCCA），一种凸最小二乘方法，通过在原始（输入）空间中投影一个视图，同时在对偶（核）空间中投影另一个视图，学习一种稀疏且可解释的语义空间。当特征维度较大时，SCCA在配对检索任务中优于核典型相关分析（KCCA），使用显著更少的特征（例如460 vs. 49,212个词），同时保持或提升性能。

ABSTRACT

We present a novel method for solving Canonical Correlation Analysis (CCA) in a sparse convex framework using a least squares approach. The presented method focuses on the scenario when one is interested in (or limited to) a primal representation for the first view while having a dual representation for the second view. Sparse CCA (SCCA) minimises the number of features used in both the primal and dual projections while maximising the correlation between the two views. The method is demonstrated on two paired corpuses of English-French and English-Spanish for mate-retrieval. We are able to observe, in the mate-retreival, that when the number of the original features is large SCCA outperforms Kernel CCA (KCCA), learning the common semantic space from a sparse set of features.

研究动机与目标

• 为解决传统CCA缺乏稀疏性和可解释性的问题，其线性组合使用了所有特征。
• 开发一种凸的、最小二乘形式的CCA，实现在原始-对偶框架下的稀疏特征选择。
• 在其中一个视图位于输入空间而另一个视图位于核空间时，实现高效公共语义空间的学习。
• 证明在高维设置下，稀疏表示可优于密集表示，尤其在语义匹配任务中。

提出的方法

• 将SCCA表述为一个凸优化问题，通过在原始和对偶投影上施加L1惩罚，最小化正则化最小二乘目标。
• 使用贪心算法迭代选择能最大化相关性的特征，同时保持稀疏性。
• 首次在混合原始-对偶框架中提出CCA的公式，其中一个视图位于输入空间，另一个视图位于核空间。
• 对原始（输入）和对偶（核）投影向量均施加L1正则化，以强制实现稀疏性。
• 通过重新表述标准CCA，使其直接作用于训练数据而非协方差矩阵，从而提升计算效率。
• 通过最小二乘方法求解投影权重，避免了计算和求逆大规模协方差矩阵的需要。

实验结果

研究问题

• RQ1 能否开发一种稀疏且凸的CCA公式，在减少特征使用的同时保持高相关性？
• RQ2 在混合原始-对偶框架中学习（一个视图使用原始空间，另一个使用对偶空间）是否能提升高维数据上的性能？
• RQ3 当原始特征数量较大时，稀疏CCA能否在语义匹配任务中优于核典型相关分析（KCCA）？
• RQ4 特征选择中的稀疏性如何影响所学语义空间的可解释性和性能？

主要发现

• 当原始特征数量较大时，SCCA在配对检索任务中优于KCCA，例如在拥有49,212个词的英西语语料库中表现更优。
• 在英法语语料库中，SCCA仅使用142个词和42篇文档即达到与KCCA（使用2,794个词和50篇文档）相当的性能。
• 在英西语实验中，SCCA在所有投影数量下均持续优于KCCA，表明其在高维设置下的鲁棒性。
• SCCA在英西语语料库上实现了最高460个词的稀疏性，而KCCA使用了全部49,212个词，表明特征数量显著减少。
• 结果表明，过多的特征数量可能损害性能，而稀疏特征选择能带来更好的泛化能力和可解释性。