[论文解读] Worst-case convergence analysis of gradient and Newton methods through semidefinite programming performance estimation

Etienne de Klerk, François Glineur+1 more|arXiv (Cornell University)|Sep 15, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用 8

一句话总结

本文提出了一种基于半定规划（semidefinite programming）的性能估计框架，用于分析光滑强凸函数和自共轭函数下梯度法与牛顿法在最坏情况下的收敛性，包括非精确搜索方向的情形。主要贡献是利用该方法对短步长内点法进行了严格的复杂度分析，从而为Abernethy与Hazan（2016）等近期算法提供了新的最坏情况收敛界。

ABSTRACT

We provide new tools for worst-case performance analysis of the gradient (or steepest descent) method of Cauchy for smooth strongly convex functions, and Newton's method for self-concordant functions, including the case of inexact search directions. The analysis uses semidefinite programming performance estimation, as pioneered by Drori and Teboulle [Mathematical Programming, 145(1-2):451-482, 2014], and extends recent performance estimation results for the method of Cauchy by the authors [Optimization Letters, 11(7), 1185-1199, 2017]. To illustrate the applicability of the tools, we demonstrate a novel complexity analysis of short step interior point methods using inexact search directions. As an example in this framework, we sketch how to give a rigorous worst-case complexity analysis of a recent interior point method by Abernethy and Hazan [PMLR, 48:2520-2528, 2016].

研究动机与目标

• 开发一种基于半定规划（semidefinite programming）的性能估计框架，用于分析一阶与二阶方法的最坏情况收敛性。
• 将先前的性能估计结果扩展至包含梯度法与牛顿法中非精确搜索方向的情形。
• 利用该框架实现对短步长内点法的最坏情况复杂度的严格分析。
• 通过分析Abernethy与Hazan（2016）提出的近期内点法，展示该框架的适用性。
• 提供一种系统化工具，用于在最坏条件下对光滑强凸函数与自共轭函数的收敛速率进行边界估计。

提出的方法

• 本文采用半定规划（SDP）来构建性能估计问题，以限制优化算法的最坏情况收敛速率。
• 通过在目标函数的二次模型和算法迭代点上构建优化问题，来建模梯度法与牛顿法的最坏行为。
• 该框架引入了光滑强凸函数与自共轭函数的性质约束，包括曲率与Lipschitz条件。
• 通过引入满足特定误差界约束的扰动项，对非精确搜索方向进行建模。
• 通过求解SDP问题，获得在有限次迭代内收敛速率的紧致上界。
• 该方法推广了Drori与Teboulle（2014）的前期工作，并将其扩展至非精确方法及新的函数类别。

实验结果

研究问题

• RQ1 在非精确线搜索条件下，光滑强凸函数下梯度法所能达到的最紧致最坏情况收敛速率是多少？
• RQ2 通过半定规划的性能估计框架，如何约束自共轭函数在非精确方向下的牛顿法收敛性？
• RQ3 基于SDP的性能估计方法能否用于推导具有非精确搜索方向的短步长内点法的复杂度界？
• RQ4 当通过该框架分析时，Abernethy与Hazan（2016）提出的内点法的最坏情况复杂度是多少？
• RQ5 所推导的边界与这些方法已知的理论与实证收敛速率相比如何？

主要发现

• 基于SDP的性能估计框架为光滑强凸函数与自共轭函数下的梯度法与牛顿法提供了紧致的最坏情况收敛边界。
• 该框架成功捕捉了非精确搜索方向对收敛性的影响，使得在该类条件下的复杂度分析成为可能。
• 通过使用非精确方向，该方法为短步长内点法推导出一种新颖的最坏情况复杂度分析，拓展了性能估计在实际内点法变体中的适用性。
• 该方法能够对Abernethy与Hazan（2016）提出的近期内点法实现严格的复杂度边界估计，通过形式化分析验证了其最坏情况性能。
• 通过利用性能估计问题的结构并结合半定规划，该方法在收敛速率估计上优于先前方法。