[论文解读] Scalable Adaptive Stochastic Optimization Using Random Projections

Gabriel Krummenacher, Brian McWilliams+3 more|arXiv (Cornell University)|Nov 21, 2016

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

该论文提出 RADAGRAD，一种可扩展的自适应随机优化方法，通过随机投影近似全矩阵 ADAGRAD，实现在计算成本仅为原方法几分之一的情况下高效捕捉二阶信息。该方法在训练深度神经网络时收敛速度更快、性能更优，尤其在低有效秩设置下表现突出。

ABSTRACT

Adaptive stochastic gradient methods such as AdaGrad have gained popularity in particular for training deep neural networks. The most commonly used and studied variant maintains a diagonal matrix approximation to second order information by accumulating past gradients which are used to tune the step size adaptively. In certain situations the full-matrix variant of AdaGrad is expected to attain better performance, however in high dimensions it is computationally impractical. We present Ada-LR and RadaGrad two computationally efficient approximations to full-matrix AdaGrad based on randomized dimensionality reduction. They are able to capture dependencies between features and achieve similar performance to full-matrix AdaGrad but at a much smaller computational cost. We show that the regret of Ada-LR is close to the regret of full-matrix AdaGrad which can have an up-to exponentially smaller dependence on the dimension than the diagonal variant. Empirically, we show that Ada-LR and RadaGrad perform similarly to full-matrix AdaGrad. On the task of training convolutional neural networks as well as recurrent neural networks, RadaGrad achieves faster convergence than diagonal AdaGrad.

研究动机与目标

• 解决全矩阵 ADAGRAD 在高维问题中计算成本过高的问题。
• 开发一种可扩展的二阶信息近似方法，以捕捉特征相关性。
• 在降低存储与计算复杂度的同时保持强理论保证。
• 提升深度学习中的优化性能，尤其针对具有低有效秩结构（如 CNN 和 RNN）的模型。
• 实现在大规模深度学习中实用化具有全矩阵海森矩阵近似的自适应随机优化。

提出的方法

• 提出 ADA-LR 方法，利用结构化随机投影（如 SRFT）降低梯度外积的维度。
• 应用快速随机投影近似海森矩阵近似矩阵的逆平方根，将计算成本降低 p 倍。
• 提出 RADAGRAD，一种完全可扩展的变体，通过随机 SVD 和 QR 分解优化 ADA-LR 中最昂贵的步骤。
• 采用基于 SVRG 的方差减少变体，提升收敛稳定性。
• 利用结构化随机投影（如子采样随机傅里叶变换）实现高效且适合 GPU 的计算。
• 修改优化框架，使理论遗憾界接近全矩阵 ADAGRAD 的水平。

实验结果

研究问题

• RQ1 随机投影能否在保留理论保证的前提下有效近似全矩阵 ADAGRAD 的近端项？
• RQ2 该随机近似方法在收敛性和遗憾方面的性能与全矩阵 ADAGRAD 相比如何？
• RQ3 所提方法能否在深度学习任务中实现比对角 ADAGRAD 更快的收敛速度？
• RQ4 方差减少对随机自适应优化器实际性能的影响如何？
• RQ5 该方法能否在具有低有效秩结构的高维深度学习问题中实现高效扩展？

主要发现

• 在 Penn Treebank 语言建模任务中，采用方差减少的 RADAGRAD 将训练损失降低了 2.7 倍（5.62×10⁻⁴ vs. 1.52×10⁻³）。
• RADAGRAD 将测试损失降低了 2.8 倍（1.15×10⁻² vs. 3.23×10⁻²），在训练和泛化性能上均优于 ADAGRAD。
• RADAGRAD 选择的学习率约为 ADAGRAD 的一个数量级，支持更激进的更新。
• RADAGRAD 在卷积神经网络和循环神经网络任务中均实现了比 ADAGRAD 和 ADAGRAD+SVRG 更快的收敛速度。
• 尽管每次迭代比 ADAGRAD 慢 5–10 倍，但由于收敛更快，整体优化时间仍更短。
• 指数遗忘机制（如 ADAM 所用）会降低性能，表明 RADAGRAD 的核心框架对这类修改较为敏感。