[论文解读] On a Combination of Alternating Minimization and Nesterov's Momentum

Sergey Guminov, Pavel Dvurechenskii+2 more|arXiv (Cornell University)|Jun 9, 2019

Matrix Theory and Algorithms被引用 4

一句话总结

该论文提出了一种加速交替最小化算法，通过将交替最小化与Nesterov的动量相结合，实现了凸问题的$1/k^2$收敛速率和非凸问题的$1/k$收敛速率，且无需预先知晓凸性或光滑性参数。该方法具有自适应性、无参数依赖性，并在凸与非凸设置下均实现统一最优性，适用于最优传输和协同过滤问题。

ABSTRACT

Alternating minimization (AM) procedures are practically efficient in many applications for solving convex and non-convex optimization problems. On the other hand, Nesterov's accelerated gradient is theoretically optimal first-order method for convex optimization. In this paper we combine AM and Nesterov's acceleration to propose an accelerated alternating minimization algorithm. We prove $1/k^2$ convergence rate in terms of the objective for convex problems and $1/k$ in terms of the squared gradient norm for non-convex problems, where $k$ is the iteration counter. Our method does not require any knowledge of neither convexity of the problem nor function parameters such as Lipschitz constant of the gradient, i.e. it is adaptive to convexity and smoothness and is uniformly optimal for smooth convex and non-convex problems. Further, we develop its primal-dual modification for strongly convex problems with linear constraints and prove the same $1/k^2$ for the primal objective residual and constraints feasibility.

研究动机与目标

• 开发一种一阶优化方法，结合交替最小化的实际效率与Nesterov动量的理论最优性。
• 在不依赖Lipschitz常数等问题参数知识的前提下，实现凸与非凸问题的统一最优收敛速率。
• 为具有线性约束的强凸问题设计原-对偶变体，确保目标残差与约束可行性均实现$1/k^2$收敛。
• 将该方法应用于最优传输与协同过滤等实际问题，展示其实际加速效果。
• 设计一种线搜索策略，通过利用动量稳定性提升收敛速度。

提出的方法

• 提出一种新型的增强型交替最小化算法，引入Nesterov型动量，使用序列$ a_k $控制动量项。
• 采用线搜索子程序，强制满足两个条件：$ \langle \nabla f(y^k), v^k - y^k \rangle \geq 0 $ 和 $ f(y^k) \leq f(x^k) $，作为停止准则。
• 在每次线搜索中，以$ \beta_{t-2} $作为$ \beta_t $的初始猜测，利用观察结果：具有相同奇偶性的$ \beta $值在迭代过程中通常保持稳定。
• 通过李雅普诺夫函数与递推不等式推导收敛速率，证明凸问题下为$1/k^2$，非凸问题下为$1/k$（以梯度范数衡量）。
• 为具有线性约束的强凸问题开发原-对偶改进形式，证明目标函数残差与约束可行性均实现$1/k^2$收敛。
• 将该方法应用于加速Sinkhorn算法与迭代Bregman投影（IBP）算法，为最优传输与Wasserstein重心问题获得更优的复杂度界。

实验结果

研究问题

• RQ1 能否通过Nesterov动量加速交替最小化，实现在不依赖问题参数知识下的最优收敛速率？
• RQ2 所提方法是否能在无参数依赖的前提下，保持凸问题的$1/k^2$收敛速率与非凸问题的$1/k$收敛速率？
• RQ3 该算法能否扩展为具有线性约束的强凸问题的原-对偶形式，同时保持最优收敛性？
• RQ4 基于动量稳定性的线搜索策略如何提升实际性能？
• RQ5 由所提框架导出的加速IBP与Sinkhorn算法的复杂度是多少？

主要发现

• 所提算法在凸问题中实现了目标函数的$1/k^2$收敛速率，与Nesterov方法的理论最优值一致。
• 在非凸问题中，算法确保了梯度平方范数的$1/k$收敛速率，这对一阶方法而言是最优的。
• 该方法对凸性与光滑性具有自适应性，无需知晓Lipschitz常数或其他问题参数。
• 原-对偶变体在具有线性约束的强凸问题中，实现了目标函数残差与约束可行性的$1/k^2$收敛。
• 用于Wasserstein重心的加速IBP算法总复杂度为$ O\left(\frac{mN^{5/2}\sqrt{\ln N}\|C\|_{\infty}}{\varepsilon}\right) $，优于标准IBP算法。
• 加速Sinkhorn算法继承了标准Sinkhorn的复杂度，但因动量引入而实现更快收敛，经实证验证性能显著提升。