[论文解读] Parametrized Accelerated Methods Free of Condition Number

Chaoyue Liu, Mikhail A. Belkin|arXiv (Cornell University)|Feb 28, 2018

Matrix Theory and Algorithms参考文献 15被引用 4

一句话总结

本文提出了一类参数化的加速梯度方法，即使在条件数未知、误估或无界的情况下，仍能保持指数收敛。通过将条件数视为自由参数，作者推导出Nesterov的AGD、切比雪夫半迭代法以及SOR方法的显式谱级收敛速率，证明这些方法在非强凸情形下比标准梯度下降收敛更快，并且在所有特征值上均保持指数收敛，无论条件数的准确性如何。

ABSTRACT

Analyses of accelerated (momentum-based) gradient descent usually assume bounded condition number to obtain exponential convergence rates. However, in many real problems, e.g., kernel methods or deep neural networks, the condition number, even locally, can be unbounded, unknown or mis-estimated. This poses problems in both implementing and analyzing accelerated algorithms. In this paper, we address this issue by proposing parametrized accelerated methods by considering the condition number as a free parameter. We provide spectral-level analysis for several important accelerated algorithms, obtain explicit expressions and improve worst case convergence rates. Moreover, we show that those algorithm converge exponentially even when the condition number is unknown or mis-estimated.

研究动机与目标

• 解决当条件数未知、过大或无界时，基于动量方法的不稳定性与收敛性差的问题。
• 开发无需事先知晓条件数的参数化加速算法。
• 为关键加速方法（包括Nesterov的AGD和SOR）提供显式的谱级收敛速率表达式。
• 证明这些方法在强凸与非强凸情形下均保持指数收敛。
• 在缺乏条件数信息的情况下，比较不同方法与参数选择的性能。

提出的方法

• 将加速方法参数化，将条件数ρ视为自由参数而非必需输入。
• 使用谱分析，推导出以特征值μ ∈ [0,1]表示的显式多项式收敛速率表达式。
• 定义并计算“切比雪夫数”，以量化加速类方法中的最坏情况收敛速率。
• 分析在强凸（μ ≤ ρ）与非强凸（μ > ρ）情形下的收敛行为。
• 利用谱级多项式Pk*(μ)、Rk(μ)、Nk(μ)比较Nesterov的AGD、切比雪夫与SOR方法的收敛速率。
• 证明即使在μ > ρ（即非强凸情形）下，每个特征值的收敛仍为指数级。

实验结果

研究问题

• RQ1 当条件数未知或误估时，加速梯度方法是否仍能保持指数收敛？
• RQ2 Nesterov的AGD、切比雪夫与SOR方法的显式谱级收敛速率是什么？
• RQ3 在非强凸情形下，这些加速方法的收敛速率如何比较？
• RQ4 加速参数ρ的选择是否影响收敛速度？若影响，其影响机制如何？
• RQ5 参数化加速方法是否能在非强凸设置下统一快于标准梯度下降？

主要发现

• 所有三种加速方法——Nesterov的AGD、切比雪夫与SOR——在每个特征值上均表现出指数收敛，即使条件数未知或误估。
• 在非强凸情形（μ ∈ (ρ,1)）下，所有加速方法均比标准梯度下降（幂法）收敛更快，其中Nesterov的AGD与SOR优于幂法。
• 在加速类方法中，切比雪夫半迭代法具有最快的最坏情况收敛速率，而Nesterov的AGD最慢。
• 较小的加速参数ρ可降低切比雪夫数，从而在强凸情形下加速收敛，但在非强凸情形下反而减缓收敛。
• 收敛速率取决于Hessian的谱分布，较小的特征值（较大的Hessian特征值）收敛更快。
• 即使Hessian谱位于区间[0,ρ]之外（即在非强凸情形下），参数化方法仍保持有效且收敛。