[论文解读] On Lower and Upper Bounds for Smooth and Strongly Convex Optimization Problems

Yossi Arjevani, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Mar 23, 2015

Stochastic Gradient Optimization Techniques参考文献 17被引用 17

一句话总结

本文提出了一种基于多项式的框架，用于分析光滑且强凸优化算法，在固定维数设定下揭示了收敛速率的紧致下界与上界。该框架将Nesterov加速梯度下降（AGD）自然地视为一个最优多项式优化问题的解，从而为加速现象提供了系统且有原则的统一解释，超越了以往的临时构造方法。

ABSTRACT

We develop a novel framework to study smooth and strongly convex optimization algorithms, both deterministic and stochastic. Focusing on quadratic functions we are able to examine optimization algorithms as a recursive application of linear operators. This, in turn, reveals a powerful connection between a class of optimization algorithms and the analytic theory of polynomials whereby new lower and upper bounds are derived. Whereas existing lower bounds for this setting are only valid when the dimensionality scales with the number of iterations, our lower bound holds in the natural regime where the dimensionality is fixed. Lastly, expressing it as an optimal solution for the corresponding optimization problem over polynomials, as formulated by our framework, we present a novel systematic derivation of Nesterov's well-known Accelerated Gradient Descent method. This rather natural interpretation of AGD contrasts with earlier ones which lacked a simple, yet solid, motivation.

研究动机与目标

• 通过在维度不随迭代次数增长的固定维数情形下建立结果，填补光滑且强凸优化中下界分析的空白，而不仅限于维度随迭代增长的情形。
• 通过递归线性算子框架，统一分析梯度下降、Heavy Ball和加速梯度下降等一阶方法。
• 将Nesterov加速梯度下降（AGD）推导为多项式优化问题的最优解，从而为其设计提供自然且系统化的动机。
• 通过多项式算法框架的规范一阶扩展，将分析从二次函数推广到一般光滑且强凸函数。

提出的方法

• 将优化算法建模为对前一迭代的递归线性变换，将问题简化为分析相关特征多项式的谱性质。
• 将收敛速率边界表述为在强凸性和光滑性参数约束下对多项式进行的优化问题。
• 利用多项式理论与根半径理论，推导出收敛速率的紧致上下界，尤其针对条件数 $κ = L/μ$。
• 将Heavy Ball和Nesterov的AGD等已知方法恢复为特定多项式优化问题的解，揭示其最优性。
• 引入一种规范的一阶扩展，通过将梯度替换为线性算子，将基于多项式的算法从二次函数推广到一般光滑且强凸函数。
• 在较弱的初始化条件下，证明扩展算法的局部线性收敛性，其收敛速率与基于多项式的分析一致。

实验结果

研究问题

• RQ1 当维度固定时，光滑且强凸函数的一阶方法收敛速率的最紧致下界是什么？
• RQ2 如何通过多项式框架系统性地统一并分析梯度下降、Heavy Ball和AGD等标准优化算法的收敛行为？
• RQ3 Nesterov加速梯度下降（AGD）能否被自然地推导为一个多项式优化问题的解，而非人为构造？
• RQ4 在何种条件下，基于多项式的二次函数算法可被扩展至一般光滑且强凸函数，同时保持收敛速率？
• RQ5 特征多项式的根半径与迭代优化方法的收敛速率之间存在何种关系？

主要发现

• 本文在维度固定这一自然情形下，建立了光滑且强凸优化的新下界，而此前的下界仅适用于维度随迭代增长的情形。
• 证明了Heavy Ball方法的收敛速率被限制在 $\rho^* = \frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1}$，与该方法已知的最优速率一致。
• Nesterov加速梯度下降（AGD）被推导为一个最优多项式优化问题的解，为其设计提供了有原则且系统化的动机。
• 基于多项式的算法的规范一阶扩展，其收敛速率仅受一个小误差项影响，确保在靠近极小值点初始化时，对一般光滑且强凸函数实现线性收敛。
• 该框架揭示，任何一阶方法的收敛速率均由其特征多项式的根半径决定，从而将算法设计与多项式根分析紧密关联。
• 分析表明，光滑且强凸问题的最优收敛速率本质上与在强凸性和光滑性约束下多项式的极值性质密切相关。