[论文解读] The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions

Hadi Abbaszadehpeivasti, Etienne de Klerk+1 more|arXiv (Cornell University)|Apr 12, 2021

Stochastic Gradient Optimization Techniques参考文献 16被引用 5

一句话总结

该论文通过性能估计问题与半定规划，精确确定了在L-光滑函数上使用固定步长的梯度法的最坏情况收敛速率。其推导出的收敛界比以往工作更紧致，证明了在步长 ∈ (0, 1/L] 时该界为紧致，并识别出使该界最小化的最优步长 tk = √(4/3)/L，将收敛速率从 4LΔ/(3N+2) 改进为 4LΔ/(3N+2)，常数因子更小。

ABSTRACT

In this paper, we study the convergence rate of the gradient (or steepest descent) method with fixed step lengths for finding a stationary point of an $L$-smooth function. We establish a new convergence rate, and show that the bound may be exact in some cases, in particular when all step lengths lie in the interval $(0,1/L]$. In addition, we derive an optimal step length with respect to the new bound.

研究动机与目标

• 推导出在L-光滑函数上使用固定步长的梯度法的更紧收敛界。
• 建立所推导收敛界为精确的条件。
• 识别出使最坏情况收敛界最小化的最优步长。
• 对Taylor所提出的猜想界提供正式证明，并在现有结果基础上实现改进。

提出的方法

• 将最坏情况收敛速率建模为带有二次约束的性能估计问题（PEP）。
• 使用半定规划（SDP）松弛方法求解无穷维优化问题。
• 利用不等式 |f(y) − f(x) − ⟨∇f(x), y−x⟩| ≤ (L/2)∥y−x∥² 来刻画L-光滑函数。
• 构造一个特定的L-光滑函数，使其在推导出的界中达到等式，从而证明在步长 ∈ (0, 1/L] 时该界为紧致。
• 通过微积分与凹性分析，最小化收敛界右侧表达式，推导出最优步长。
• 运用插值条件与矩阵不等式，确保所构造函数满足L-光滑性与梯度条件。

实验结果

研究问题

• RQ1 对于L-光滑函数，使用固定步长的梯度法的精确最坏情况收敛速率是什么？
• RQ2 在何种条件下所推导的收敛界是紧致或精确的？
• RQ3 使最坏情况收敛界最小化的最优步长是什么？
• RQ4 与Nesterov、Taylor和Drori等人的既有结果相比，新界有何改进？

主要发现

• 论文建立了新的收敛界：min₁≤k≤N+1 ‖∇f(xk)‖ ≤ [4Δ / (∑ₖ min(−L²tₖ³ + 4tₖ, −Ltₖ² + 4tₖ) + 2/L)]^(1/2)，适用于 tk ∈ (0, √3/L)。
• 当所有步长 tk ∈ (0, 1/L] 时，该界为精确，通过构造一个达到等式的L-光滑函数得以证明。
• 在特例 tk = 1/L 时，界改进为 [4L(f(x₁)−f⋆)/(3N+2)]^(1/2)，常数因子从 4/3 ≈ 1.333 降低至 6√3/8 ≈ 1.299。
• 使该界最小化的最优步长为 tk = √(4/3)/L（对所有k成立），从而获得最紧致的最坏情况收敛速率。
• 论文对Taylor所提出的猜想界 (4LΔ/(3N))^(1/2) 提供了正式证明，表明其为新界的一个特例。
• 作者推测，该新界在 (0, 2/L) 全区间内仍为精确，扩展了已证明的 (0, 1/L] 区间。