[论文解读] Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations

Weiran Wang, Raman Arora+2 more|arXiv (Cornell University)|Oct 7, 2015

Face and Expression Recognition参考文献 39被引用 16

一句话总结

本文提出非线性正交迭代（NOI），一种用于深度典型相关分析（DCCA）的随机优化方法，通过将CCA重新表述为正交迭代并使用自适应协方差估计，实现了在小批量设置下的高效训练。该方法在显著降低内存使用的同时，性能可与批量或大批次优化器相媲美，使其适用于大规模深度学习模型。

ABSTRACT

Deep CCA is a recently proposed deep neural network extension to the traditional canonical correlation analysis (CCA), and has been successful for multi-view representation learning in several domains. However, stochastic optimization of the deep CCA objective is not straightforward, because it does not decouple over training examples. Previous optimizers for deep CCA are either batch-based algorithms or stochastic optimization using large minibatches, which can have high memory consumption. In this paper, we tackle the problem of stochastic optimization for deep CCA with small minibatches, based on an iterative solution to the CCA objective, and show that we can achieve as good performance as previous optimizers and thus alleviate the memory requirement.

研究动机与目标

• 为解决深度DCCA中随机优化的挑战，传统方法因目标函数不可解耦而需依赖大批次或批量方法。
• 实现使用小批量进行高效、内存高效的DCCA模型训练，适用于大规模数据集和GPU部署。
• 开发一种方法，在避免批量或大批次优化器高内存消耗的同时保持高性能。
• 通过在随机设置中利用自适应协方差估计，提升DCCA的泛化能力和收敛性。

提出的方法

• 通过正交迭代重新表述CCA目标，实现对训练样本的优化解耦。
• 将DNN训练嵌入正交迭代框架中，采用非线性最小二乘回归目标，自然地在样本间实现分离。
• 使用记忆参数ρ的自适应协方差矩阵估计，以稳定小批量中的白化过程。
• 在每一步仅对当前小批量执行白化操作，通过协方差估计的递归更新规则降低噪声并提高稳定性。
• 将DNN参数更新整合到迭代CCA解中，实现端到端的随机优化。
• 通过记忆参数ρ实现类似动量的机制，平滑跨迭代的协方差估计，提升小批量下的收敛性。

实验结果

研究问题

• RQ1 尽管CCA目标函数具有不可解耦性，是否仍可使深度DCCA的随机优化在小批量下有效？
• RQ2 在小批量随机设置中，如何稳定地近似CCA中的白化约束？
• RQ3 带有记忆的自适应协方差估计（ρ）在稳定训练和提升性能方面发挥何种作用？
• RQ4 所提出的方法是否在降低内存使用的同时，实现与批量或大批次优化器相当的性能？

主要发现

• NOI在小批量（n=1）训练下，实现的典型相关性性能与以往的批量和大批次优化器相当。
• 在小批量（n=1）情况下，该方法显著优于以往的随机方法，后者因协方差估计噪声过大而无法取得进展。
• 使用ρ=0.9999的自适应协方差估计可实现接近最优的性能，在MNIST线性CCA上与闭式SVD解非常接近。
• 最优ρ值随小批量大小变化，对于更小的n，使用更高的ρ值能更有效地降低协方差估计中的噪声。
• NOI在极低内存条件下表现出鲁棒性和收敛性，由于梯度噪声减少，其在小批量设置下优于STOL。