[论文解读] Reducing the variance in online optimization by transporting past gradients

Sébastien M. R. Arnold, Pierre-Antoine Manzagol+3 more|arXiv (Cornell University)|Jun 8, 2019

Stochastic Gradient Optimization Techniques参考文献 45被引用 12

一句话总结

本文提出隐式梯度传输（IGT），一种通过在不显式计算 Hessian 矩阵的情况下将过去梯度传输到当前迭代点，以减少在线随机优化中方差的方法。IGT 通过显著降低梯度估计中的偏差和方差，使基于动量的优化器（如 Adam 和 Heavy Ball）在深度学习基准测试中实现最先进性能，且在所有 Hessian 矩阵相等的受限情况下具备最优收敛性的理论保证。

ABSTRACT

Most stochastic optimization methods use gradients once before discarding them. While variance reduction methods have shown that reusing past gradients can be beneficial when there is a finite number of datapoints, they do not easily extend to the online setting. One issue is the staleness due to using past gradients. We propose to correct this staleness using the idea of implicit gradient transport (IGT) which transforms gradients computed at previous iterates into gradients evaluated at the current iterate without using the Hessian explicitly. In addition to reducing the variance and bias of our updates over time, IGT can be used as a drop-in replacement for the gradient estimate in a number of well-understood methods such as heavy ball or Adam. We show experimentally that it achieves state-of-the-art results on a wide range of architectures and benchmarks. Additionally, the IGT gradient estimator yields the optimal asymptotic convergence rate for online stochastic optimization in the restricted setting where the Hessians of all component functions are equal.

研究动机与目标

• 为解决在线随机优化中高方差和偏差的问题，特别是当重用过去梯度时。
• 将通常仅在有限和设置下有效的方差减少技术扩展到在线设置。
• 开发一种在不显式计算 Hessian 矩阵的情况下校正过去梯度陈旧性问题的方法。
• 使基于动量的优化器在在线设置中实现更快收敛和更好泛化性能。
• 为现有优化框架（如 Adam 和 Heavy Ball）中的随机梯度提供即插即用的替代方案。

提出的方法

• IGT 使用线性近似隐式地将过去梯度从先前迭代点传输到当前参数位置，避免显式计算 Hessian 矩阵。
• 该方法构建了一个梯度估计器，通过结合过去梯度与一个传输校正项来降低偏差和方差。
• IGT 通过用 IGT 校正的梯度估计替换标准随机梯度，集成到基于动量的优化器中。
• 该方法利用隐式梯度传输保持稳定性与收敛性，即使在使用过时梯度时亦然。
• 理论分析表明，在所有分量函数 Hessian 矩阵相等的特殊情况下，IGT 实现最优渐近收敛速率。
• 该方法被实现为即插即用的替代方案，对现有优化代码库仅需极少修改。

实验结果

研究问题

• RQ1 是否可以在不显式计算 Hessian 矩阵的情况下，有效重用在线优化中的过去梯度，以减少方差和偏差？
• RQ2 与标准随机梯度方法相比，隐式梯度传输是否能提升在线随机优化中的收敛速度和稳定性？
• RQ3 IGT 是否能无缝集成到如 Adam 和 Heavy Ball 等现有基于动量的优化器中？
• RQ4 在在线设置中，特别是在 Hessian 矩阵相等的假设下，IGT 的理论收敛行为如何？
• RQ5 IGT 是否在多种深度学习架构和基准测试中均实现最先进性能？

主要发现

• IGT 在广泛的深度学习架构和基准测试中实现最先进性能，优于标准优化器如 Adam 和带动量的 SGD。
• 在所有分量函数 Hessian 矩阵相等的受限设置下，IGT 梯度估计器实现了最优渐近收敛速率。
• IGT 随时间推移降低了梯度估计的偏差和方差，从而实现更快收敛和更好泛化性能。
• 该方法使在线优化中可使用固定步长并实现线性收敛，而标准随机梯度下降仅能收敛到最优解的邻域。
• 实验结果表明，使用 IGT 的标准 SGD 及其动量变体在深度学习中均优于常用优化器。
• 理论分析证实，IGT 在适当超参数调优下保持线性收敛，谱半径条件可确保稳定性。