[论文解读] Subspace Perspective on Canonical Correlation Analysis: Dimension Reduction and Minimax Rates

Zhuang Ma, Xiaodong Li|arXiv (Cornell University)|May 12, 2016

Face and Expression Recognition参考文献 37被引用 4

一句话总结

本文通过基于样本与总体典型变量子空间之间主角的误差度量，提出了一种典型相关分析（CCA）的新子空间视角。它建立了非渐近误差界，自适应地依赖于维度、样本量、条件数和典型相关系数，首次推导出非渐近 CCA 收敛速率 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/( \lambda_k - \lambda_{k+1})^2$，尤其在典型相关系数接近 1 时至关重要。

ABSTRACT

Canonical correlation analysis (CCA) is a fundamental statistical tool for exploring the correlation structure between two sets of random variables. In this paper, motivated by recent success of applying CCA to learn low dimensional representations of high dimensional objects, we propose to quantify the estimation loss of CCA by the excess prediction loss defined through a prediction-after-dimension-reduction framework. Such framework suggests viewing CCA estimation as estimating the subspaces spanned by the canonical variates. Interestedly, the proposed error metrics derived from the excess prediction loss turn out to be closely related to the principal angles between the subspaces spanned by the population and sample canonical variates respectively. We characterize the non-asymptotic minimax rates under the proposed metrics, especially the dependency of the minimax rates on the key quantities including the dimensions, the condition number of the covariance matrices, the canonical correlations and the eigen-gap, with minimal assumptions on the joint covariance matrix. To the best of our knowledge, this is the first finite sample result that captures the effect of the canonical correlations on the minimax rates.

研究动机与目标

• 为解决 CCA 估计中缺乏原则性误差度量的问题，通过将损失函数与降维的主要应用目标对齐。
• 推导样本 CCA 的非渐近风险界，自适应地反映关键统计参数（样本量、维度、条件数和典型相关系数）的影响。
• 建立极小极大下界，以在严格、局部化的参数空间下验证所提上界的最佳性。
• 解决在首项误差界中分离 $p_1$ 与 $p_2$ 的开放问题，无需假设残差相关系数为零。
• 首次在非渐近 CCA 分析中推导出涉及项 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ 的非渐近收敛速率，这对于理解 CCA 在接近完美相关时的性能至关重要。

提出的方法

• 提出两种基于样本与总体典型变量子空间所张成子空间之间主角的新误差度量。
• 利用非渐近随机矩阵理论与谱扰动技术，分析这些度量下的估计风险。
• 推导估计误差的统一上界，明确分离首项中 $p_1$ 与 $p_2$ 的贡献，且无需假设残差相关系数趋近于零。
• 通过精细化分析典型相关结构，首次在非渐近 CCA 中推导出收敛速率项 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$。
• 构建局部化参数空间并推导极小极大下界，以证明上界的最佳性。
• 采用矩阵扰动理论与迹不等式，界定了总体与样本协方差结构之间的差异，尤其关注子空间差异的 Frobenius 范数。

实验结果

研究问题

• RQ1 当目标是降维时，应采用何种适当的误差度量来量化总体与样本 CCA 之间的差异？
• RQ2 CCA 中的非渐近估计风险如何依赖于样本量、维度 $p_1$ 与 $p_2$、协方差矩阵的条件数以及典型相关系数？
• RQ3 在不假设残差相关系数为零的前提下，CCA 估计的首项误差是否可分离为 $p_1$ 与 $p_2$ 的独立贡献？
• RQ4 当主导典型相关系数接近 1 时，样本 CCA 的精确非渐近收敛速率是什么？
• RQ5 在局部化参数空间下，所提出的估计风险上界是否为极小极大最优？

主要发现

• 本文推导出首个非渐近上界，用于 CCA 估计，其首项明确分离 $p_1$ 与 $p_2$，且无需假设残差相关系数为零。
• 识别出收敛速率项 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ 在典型相关系数接近 1 时对理解 CCA 性能至关重要，并首次在非渐近分析中显式推导出该表达式。
• 基于主角的所提误差度量，产生自适应反映所有关键参数（样本量、维度、条件数、典型相关系数）影响的非渐近风险界。
• 通过在严格、局部化参数空间上的下界分析，证明了上界为极小极大最优，确认了理论结果的紧致性。
• 通过涉及典型相关系数及其间隔的迹表达式，界定了总体与样本子空间投影之间差异的 Frobenius 范数，从而实现了对子空间估计误差的精确刻画。
• 分析表明，当典型相关系数接近 1 时，估计误差对连续典型相关系数之间间隙最为敏感，原因在于 $(1 - \lambda_k^2)/(\lambda_k - \lambda_{k+1})^2$ 因子的爆炸性增长。