[论文解读] Stochastic Approximation for Canonical Correlation Analysis

Raman Arora, Teodor V. Marinov+2 more|arXiv (Cornell University)|Feb 22, 2017

Blind Source Separation Techniques被引用 17

一句话总结

该论文提出了两类一阶随机逼近算法——截断矩阵随机梯度（capped-MSG）和矩阵指数梯度（MEG）——用于典型相关分析（CCA），在 O(1/ϵ²) 次迭代内实现种群目标函数的 ϵ-次优解。这些方法通过使用具有有界噪声的不精确梯度估计，处理 CCA 中非可分解的、基于比率的目标函数，从而在保持温和的协方差矩阵条件下，实现理论上的收敛保证，同时高效扩展至大规模数据集。

ABSTRACT

We propose novel first-order stochastic approximation algorithms for canonical correlation analysis (CCA). Algorithms presented are instances of inexact matrix stochastic gradient (MSG) and inexact matrix exponentiated gradient (MEG), and achieve $ε$-suboptimality in the population objective in $\operatorname{poly}(\frac{1}ε)$ iterations. We also consider practical variants of the proposed algorithms and compare them with other methods for CCA both theoretically and empirically.

研究动机与目标

• 开发高效、可扩展的一阶随机逼近算法用于 CCA，以处理大规模数据集。
• 解决 CCA 中非可分解目标函数的挑战，其中相关性目标是期望之比，使得标准随机梯度方法不适用。
• 在梯度估计中存在有界噪声的不精确梯度预言机条件下，为随机 CCA 算法提供理论收敛保证。
• 设计算法的实际变体，使其在运行时间和收敛速度方面优于现有方法。
• 通过假设种群自协方差矩阵的最小特征值有下界，确保 CCA 问题的适定性。

提出的方法

• 将 capped-MSG 和 MEG-CCA 作为 CCA 中不精确邻近梯度下降的实例提出，使用具有有界加性误差的噪声梯度估计。
• 通过变量替换 U = Cx^{1/2}Ũ 和 V = Cy^{1/2}Ṽ 重新参数化 CCA 问题，将约束问题转化为具有正交约束的等价问题。
• 在每次迭代中使用 Bregman 投影（精确邻近步骤）以在正交约束下保持可行性。
• 在 capped-MSG 中对梯度更新应用截断机制，以控制步长并提升稳定性和收敛性。
• 采用不精确邻近梯度方法的框架分析收敛性，证明在有界梯度误差下收敛速率为 O(1/√T)。
• 在实验中对 MSG 和 MEG 算法采用步长策略 ηt = 0.1/√t。

实验结果

研究问题

• RQ1 一阶随机逼近算法是否能在 O(1/ϵ²) 次迭代内实现种群 CCA 目标函数的 ϵ-次优解？
• RQ2 如何将随机梯度方法适配于非可分解、基于比率的 CCA 目标函数，该目标函数无法在样本上分解？
• RQ3 当梯度估计中存在有界噪声时，不精确邻近梯度方法在 CCA 上的收敛行为如何？
• RQ4 所提出算法的实际变体是否能在运行时间和收敛速度方面优于现有 CCA 求解器？
• RQ5 在 MediaMill 等真实多视图数据集上，所提算法在病态协方差矩阵条件下的实际表现如何？

主要发现

• 在 MediaMill 数据集上，capped-MSG 在达到 ϵ-次优解的总运行时间方面优于 MEG 和其他基线方法。
• MEG 和 capped-MSG 在 O(1/ϵ²) 次迭代内实现种群目标函数的 ϵ-次优解，与标准随机逼近的理论收敛速率一致。
• 实验结果表明，CCALin 和 ALS CCA 的每轮迭代性能优于 MEG 和 capped-MSG，但由于每轮迭代运行时间更短，capped-MSG 在整体性能上仍更优。
• 理论分析表明，累积梯度误差 E = O(√T)，在不精确邻近梯度框架下足以实现 O(1/√T) 的收敛速率。
• 即使种群自协方差矩阵条件数较差，只要最小特征值有正的下界，所提算法仍保持有效性。
• 与 CCALin 和 ALS CCA 不同，所提方法无需事先知晓特征值间隔信息，避免了对这一参数的调优。