[论文解读] Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration.

Michael B. Cohen, Aaron Sidford+1 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文通过引入一种称为相对利普希茨性（relative Lipschitzness）的新条件，建立了外梯度方法在光滑凸最小化问题中实现最优加速收敛速率的理论。该条件刻画了单调变分不等式中的收敛性。该框架可推广至局部和随机设置，通过面积凸性恢复了 $υ_\infty$ 回归和随机坐标下降的加速收敛速率。

ABSTRACT

We show that standard extragradient methods (i.e. mirror prox and dual extrapolation) recover optimal accelerated rates for first-order minimization of smooth convex functions. To obtain this result we provide fine-grained characterization of the convergence rates of extragradient methods for solving monotone variational inequalities in terms of a natural condition we call relative Lipschitzness. We further generalize this framework to handle local and randomized notions of relative Lipschitzness and thereby recover rates for box-constrained $\ell_\infty$ regression based on area convexity and complexity bounds achieved by accelerated (randomized) coordinate descent for smooth convex function minimization.

研究动机与目标

• 建立标准外梯度方法（如镜像逼近和对偶外推）在光滑凸最小化问题中实现最优加速收敛速率的理论。
• 提出并形式化相对利普希茨性这一概念，作为控制单调变分不等式中收敛性的关键条件。
• 将该框架推广至局部和随机设置，以涵盖更广泛的优化问题类别。
• 通过新条件恢复已知的 $υ_\infty$ 回归和加速随机坐标下降的复杂度界。

提出的方法

• 将相对利普希茨性定义为刻画外梯度方法在求解单调变分不等式时收敛速率的条件。
• 利用相对利普希茨性条件，推导外梯度方法在光滑凸最小化问题中的收敛速率。
• 将该框架推广至处理局部和随机形式的相对利普希茨性，以增强其适用范围。
• 通过利用面积凸性作为相对利普希茨性的一种形式，将该框架应用于框约束的 $υ_\infty$ 回归问题。
• 通过从相对利普希茨性视角解读复杂度界，恢复随机坐标下降的已知加速收敛速率。

实验结果

研究问题

• RQ1 在外梯度方法在更精细的条件下，能否在光滑凸函数上实现最优加速收敛速率？
• RQ2 相对利普希茨性在刻画单调变分不等式中收敛性方面起到何种作用？
• RQ3 如何将相对利普希茨性扩展至局部和随机设置，以捕捉新的优化问题？
• RQ4 该框架能否恢复已知的 $υ_\infty$ 回归和随机坐标下降的加速收敛速率？
• RQ5 在优化背景下，面积凸性与相对利普希茨性之间存在何种联系？

主要发现

• 在外梯度方法在相对利普希茨性条件下，可实现光滑凸最小化问题的最优加速收敛速率。
• 相对利普希茨性条件为单调变分不等式中的收敛速率提供了精细化刻画。
• 该框架可推广至局部和随机形式的相对利普希茨性，使框约束的 $υ_\infty$ 回归问题得以应用。
• 证明了面积凸性可推出一种形式的相对利普希茨性，从而恢复了 $υ_\infty$ 回归的复杂度界。
• 通过从相对利普希茨性视角解读复杂度界，该方法成功恢复了随机坐标下降的已知加速收敛速率。