[论文解读] The Lingering of Gradients: How to Reuse Gradients Over Time

Zeyuan Allen-Zhu, David Simchi‐Levi+1 more|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques被引用 1

一句话总结

本文通过考虑梯度的'残余'效应——即随着时间推移重用梯度以减少计算开销——对一阶优化方法进行了精细化的时间复杂度分析。通过将后续梯度计算的额外时间建模为与参数空间中行进距离成线性关系，该方法将梯度下降的收敛速率从 1/T 提升至 exp(−T¹/³)，在 460 万用户的应用中仅需 6 次数据集遍历即可达到 10⁻⁶ 的高精度解。

ABSTRACT

© 2018 Curran Associates Inc..All rights reserved. Classically, the time complexity of a first-order method is estimated by its number of gradient computations. In this paper, we study a more refined complexity by taking into account the “lingering” of gradients: once a gradient is computed at xk, the additional time to compute gradients at xk+1, xk+2, . . . may be reduced. We show how this improves the running time of gradient descent and SVRG. For instance, if the “additional time” scales linearly with respect to the traveled distance, then the “convergence rate” of gradient descent can be improved from 1/T to exp(−T1/3). On the empirical side, we solve a hypothetical revenue management problem on the Yahoo! Front Page Today Module application with 4.6m users to 10−6 error (or 10−12 dual error) using 6 passes of the dataset.

研究动机与目标

• 为填补经典时间复杂度分析的空白，后者仅计算梯度次数而未考虑随时间重用梯度信息的影响。
• 对梯度的'残余'效应进行建模，即在初始计算后，对邻近点计算梯度的成本降低。
• 通过将梯度重新计算的时间成本纳入复杂度分析，提升梯度下降与 SVRG 等一阶方法的收敛速率。
• 在大规模优化问题（如 460 万用户的实际收入管理任务）中展示实际性能提升。
• 表明减少梯度重新计算的开销可实现更快速的高精度解收敛，且数据集遍历次数更少。

提出的方法

• 提出一种精细化的时间复杂度模型，考虑梯度的'残余'效应，即在初始计算后，对邻近点计算梯度的成本降低。
• 将后续点梯度计算的额外时间建模为与参数空间中行进距离成线性关系。
• 将该模型应用于梯度下降与 SVRG 的分析，在新复杂度框架下推导出改进的收敛速率。
• 利用残余梯度模型重新解释有效收敛速率，表明在额外时间线性增长的假设下，收敛速率可从 1/T 提升至 exp(−T¹/³)。
• 在真实世界收入管理问题上对方法进行实证验证，使用包含 460 万用户的 Yahoo! Front Page Today Module 数据集。
• 采用有限和优化设置，使梯度在迭代间被重用，从而在保持高精度的同时降低总计算成本。

实验结果

研究问题

• RQ1 梯度的残余效应如何影响梯度下降与 SVRG 等一阶优化方法的时间复杂度？
• RQ2 将梯度计算的额外时间成本建模为行进距离的函数，是否能带来更高的收敛速率？
• RQ3 在高精度需求的大规模优化问题中，梯度重用的实际影响是什么？
• RQ4 在真实应用中利用梯度残余效应，能在多大程度上减少数据集遍历次数？
• RQ5 与经典复杂度分析相比，残余梯度模型在预测实际运行时间和收敛速度方面表现如何？

主要发现

• 当梯度计算的额外时间与行进距离成线性关系时，梯度下降的收敛速率从 1/T 提升至 exp(−T¹/³)。
• 所提模型使在 460 万用户数据集上求解大规模收入管理问题，达到 10⁻⁶ 误差仅需 6 次数据集遍历。
• 该方法实现了 10⁻¹² 的对偶误差，表明在极低计算开销下实现高精度收敛。
• 残余梯度效应显著降低了迭代的单位有效时间成本，尤其在优化后期更为明显。
• 实证结果证实，梯度重用可实际提升收敛速度并减少总计算时间。
• 精细化复杂度模型比经典基于梯度计数的方法更准确地预测运行时间。