[论文解读] Robust Accelerated Gradient Method

Necdet Serhat Aybat, Alireza Fallah+2 more|arXiv (Cornell University)|May 27, 2018

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出了一种鲁棒的加速梯度方法，通过优化强凸优化中收敛速度与对随机梯度噪声的鲁棒性之间的权衡，实现了更优的性能。利用鲁棒控制理论与李雅普诺夫分析，该文推导出由噪声引起的次优性的确切且紧致的上界，表明在梯度噪声环境下，加速梯度方法相比标准梯度下降法，不仅能实现更快的收敛速度，还能展现出更优的鲁棒性。

ABSTRACT

We study the trade-offs between convergence rate and robustness to gradient errors in designing a first-order algorithm. We focus on gradient descent (GD) and accelerated gradient (AG) methods for minimizing strongly convex functions when the gradient has random errors in the form of additive white noise. With gradient errors, the function values of the iterates need not converge to the optimal value; hence, we define the robustness of an algorithm to noise as the asymptotic expected suboptimality of the iterate sequence to input noise power. For this robustness measure, we provide exact expressions for the quadratic case using tools from robust control theory and tight upper bounds for the smooth strongly convex case using Lyapunov functions certified through matrix inequalities. We use these characterizations within an optimization problem which selects parameters of each algorithm to achieve a particular trade-off between rate and robustness. Our results show that AG can achieve acceleration while being more robust to random gradient errors. This behavior is quite different than previously reported in the deterministic gradient noise setting. We also establish some connections between the robustness of an algorithm and how quickly it can converge back to the optimal solution if it is perturbed from the optimal point with deterministic noise. Our framework also leads to practical algorithms that can perform better than other state-of-the-art methods in the presence of random gradient noise.

研究动机与目标

• 分析一阶优化方法在收敛速率与对随机梯度误差的鲁棒性之间的权衡。
• 将鲁棒性定义并量化为梯度中加性白噪声引起的渐近期望次优性。
• 利用李雅普诺夫函数与矩阵不等式，推导出二次函数情况下的鲁棒性精确表达式，以及光滑强凸函数情况下的紧致上界。
• 建立并求解一个优化问题，以选择算法参数，实现收敛速度与鲁棒性的平衡。
• 设计在随机梯度噪声下优于现有最先进方法的实用算法。

提出的方法

• 利用鲁棒控制理论工具，推导出在梯度中存在加性白噪声时，二次函数情况下渐近期望次优性的精确表达式。
• 通过矩阵不等式验证的李雅普诺夫函数，建立光滑强凸函数情况下次优性的紧致上界。
• 将算法动态建模为带有过程噪声的随机线性系统，以分析在梯度误差下迭代点的长期行为。
• 通过求解一个平衡收敛速率与抗噪鲁棒性的约束优化问题，优化算法参数。
• 建立鲁棒性与在最优解附近对确定性扰动的恢复能力之间的联系。
• 通过调节参数以最小化在已知噪声功率下的期望次优性，推导出实用的算法变体。

实验结果

研究问题

• RQ1 在期望次优性方面，梯度噪声如何影响标准与加速梯度方法的收敛行为？
• RQ2 加速梯度方法是否能够同时实现比梯度下降法更快的收敛速度与更强的随机梯度噪声鲁棒性？
• RQ3 在二次函数情况下，算法参数、噪声功率与渐近期望次优性之间的精确关系是什么？
• RQ4 如何利用李雅普诺夫函数与矩阵不等式，为光滑强凸函数在噪声条件下的次优性推导出紧致上界？
• RQ5 对随机噪声的鲁棒性与在最优解附近对确定性扰动的恢复速率之间存在何种联系？

主要发现

• 加速梯度方法在随机梯度噪声环境下，能够同时实现比标准梯度下降法更快的收敛速度与更强的鲁棒性，这与先前在确定性噪声设定下的发现相反。
• 在二次函数情况下，本文利用鲁棒控制理论，推导出渐近期望次优性关于噪声功率与算法参数的精确表达式。
• 在光滑强凸函数情况下，通过李雅普诺夫函数与矩阵不等式，推导出次优性的紧致上界，从而对鲁棒性提供了严格的表征。
• 所提出的参数选择优化框架，能够生成在随机梯度噪声环境下优于现有最先进方法的算法。
• 对随机噪声的鲁棒性与算法在最优解附近快速恢复的能力密切相关。
• 该框架可实现具有可证明改进性能的实用算法，适用于梯度噪声条件下的优化问题。