[论文解读] The Case for Full-Matrix Adaptive Regularization

Naman Agarwal, Brian Bullins+5 more|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出 GGT，一种可扩展的全矩阵自适应优化器，能够高效计算低秩矩阵的逆平方根，从而实现深度学习中全矩阵自适应正则化的实际应用。该方法首次为非凸优化中的全矩阵自适应正则化提供了严格的理论收敛保证，可实现更快的训练速度，适用于合成数据和标准深度学习基准测试。

ABSTRACT

Adaptive regularization methods come in diagonal and full-matrix variants. However, only the former have enjoyed widespread adoption in training large-scale deep models. This is due to the computational overhead of manipulating a full matrix in high dimension. In this paper, we show how to make full-matrix adaptive regularization practical and useful. We present GGT, a truly scalable full-matrix adaptive optimizer. At the heart of our algorithm is an efficient method for computing the inverse square root of a low-rank matrix. We show that GGT converges to first-order local minima, providing the first rigorous theoretical analysis of adaptive regularization in non-convex optimization. In preliminary experiments, GGT trains faster across a variety of synthetic tasks and standard deep learning benchmarks.

研究动机与目标

• 解决全矩阵自适应正则化因计算效率低下而长期局限于小众应用的问题，尽管其具有理论优势。
• 开发一种可扩展算法，使全矩阵自适应正则化在高维深度学习模型中得以实现。
• 为非凸优化中的自适应正则化提供严格的理论收敛性分析。
• 展示全矩阵方法在训练速度和性能方面相对于对角线方法的实证优越性。

提出的方法

• 核心创新在于一种高效计算低秩矩阵逆平方根的算法，显著降低计算开销。
• GGT 通过将类似 Hessian 的矩阵近似为低秩更新，保持全矩阵自适应更新规则。
• 该方法利用矩阵分解和迭代精化技术，在无需完整矩阵求逆的情况下计算逆平方根。
• 将全矩阵更新集成到适合小批量训练的随机优化框架中。
• 通过结构化的低秩近似，确保算法在数值上的稳定性和计算效率。
• 理论分析在标准非凸优化假设下，建立了收敛至一阶局部极小值的保证。

实验结果

研究问题

• RQ1 全矩阵自适应正则化能否在大规模深度学习中实现计算上的可行性？
• RQ2 全矩阵自适应优化器在非凸设置下是否能收敛至一阶局部极小值？
• RQ3 全矩阵自适应正则化与对角线变体相比，在训练速度和收敛性方面表现如何？
• RQ4 在高维空间中，维护和更新全矩阵预条件矩阵的计算成本是多少？

主要发现

• GGT 在一系列合成任务中，相较于对角线自适应方法，实现了更快的训练收敛速度。
• GGT 在标准深度学习基准测试中表现出更优性能，显著缩短了训练时间。
• 该算法首次为非凸优化中的全矩阵自适应正则化提供了严格的理论收敛保证。
• 高效的逆平方根计算使全矩阵更新在计算成本可控的前提下得以实现。
• 通过低秩近似，该方法在高维设置中保持了数值稳定性和可扩展性。