[论文解读] Unifying linear dimensionality reduction

John P. Cunningham, Zoubin Ghahramani|arXiv (Cornell University)|Jun 3, 2014

Face and Expression Recognition参考文献 111被引用 12

一句话总结

本文将多种线性降维方法——如主成分分析（PCA）、线性判别分析（LDA）、典型相关分析（CCA）和独立成分分析（ICA）——统一到一个基于矩阵流形的优化框架中。通过将这些方法表述为优化问题，该方法揭示了传统特征向量解法中隐藏的局限性，并实现了一种通用的、与目标无关的求解器，从而支持高效、可定制的降维，同时衍生出新型变体，如正交投影CCA。

ABSTRACT

Linear dimensionality reduction methods are a cornerstone of analyzing high dimensional data, due to their simple geometric interpretations and typically attractive computational prop-erties. These methods capture many data features of interest, such as covariance, dynamical structure, correlation between data sets, input-output relationships, and margin between data classes. Methods have been developed with a variety of names and motivations in many fields, and perhaps as a result the deeper connections between all these methods have not been un-derstood. Here we unify methods from this disparate literature as optimization programs over matrix manifolds. We discuss principal component analysis, factor analysis, linear multidimen-sional scaling, Fisher’s linear discriminant analysis, canonical correlations analysis, maximum autocorrelation factors, slow feature analysis, undercomplete independent component analysis, linear regression, and more. This optimization framework helps elucidate some rarely discussed shortcomings of well-known methods, such as the suboptimality of certain eigenvector solutions. Modern techniques for optimization over matrix manifolds enable a generic linear dimensionality reduction solver, which accepts as input data and an objective to be optimized, and returns, as output, an optimal low-dimensional projection of the data. This optimization framework further allows rapid development of novel variants of classical methods, which we demonstrate here by creating an orthogonal-projection canonical correlations analysis. More broadly, we suggest that our generic linear dimensionality reduction solver can move linear dimensionality reduction toward becoming a blackbox, objective-agnostic numerical technology. 1

研究动机与目标

• 将来自不同领域的多种线性降维方法统一到一个连贯的数学框架中。
• 识别并阐明经典方法中较少被讨论的固有缺陷，例如基于次优特征向量的解法。
• 设计一种通用的、与目标无关的线性降维求解器，可适用于任意数据和目标函数。
• 通过所提出的优化框架，实现经典方法新型变体的快速原型开发。
• 将线性降维定位为一种黑箱数值技术，类似于其他领域中的优化求解器。

提出的方法

• 将线性降维问题表述为在矩阵流形（特别是Stiefel流形和Grassmann流形）上的优化问题。
• 将每种方法（如PCA、LDA、CCA）表示为在正交性约束下需最大化或最小化的特定目标函数。
• 利用现代矩阵流形优化技术，如黎曼信赖域法和共轭梯度法。
• 使用相同的通用求解器架构处理多种目标，抽象出方法特异的实现细节。
• 通过修改目标函数推导新变体，例如在典型相关分析中引入正交性约束。
• 通过利用优化域的几何结构，确保数值稳定性和收敛性。

实验结果

研究问题

• RQ1 如何将广泛应用的线性降维方法正式统一到一个单一的数学框架下？
• RQ2 像PCA和异方差CCA这类经典方法中，基于标准特征向量的解法存在哪些固有局限性？
• RQ3 能否设计一种通用的、与目标无关的求解器，以处理任何线性降维目标？
• RQ4 该优化框架在多大程度上能够支持新型、改进型经典方法变体的创建？
• RQ5 矩阵流形优化方法在多大程度上提升了线性降维的鲁棒性和可解释性？

主要发现

• 所提出的框架将10余种经典线性降维方法——包括PCA、LDA、CCA和ICA——统一到单一的优化公式下。
• 该框架揭示了某些广泛使用的特征向量解法存在次优性，特别是在未正确施加正交性等约束时。
• 已演示一种通用的、与目标无关的线性降维求解器，可处理任何用户定义的目标函数。
• 该方法支持开发一种新型变体：正交投影典型相关分析，通过在投影矩阵中强制正交性，改进了标准CCA。
• 现代矩阵流形优化技术确保了在各种目标下可靠收敛和数值稳定性。
• 通过简单修改目标函数，该框架支持新方法的快速原型开发，显著缩短开发时间并提升方法灵活性。