[论文解读] On accelerated alternating minimization

Sergey Guminov, Pavel Dvurechensky+1 more|arXiv (Cornell University)|Jan 1, 2020

Matrix Theory and Algorithms参考文献 10被引用 15

一句话总结

该论文提出了一种加速交替最小化算法，用于熵正则化最优传输问题，收敛速率为 $1/k^2$，显著优于标准交替最小化和Sinkhorn算法的 $1/k$ 收敛速率。该方法为原对偶方法，自适应于局部光滑性，在实践中优于基于梯度的方法和Sinkhorn方法，且无需进行步长调节。

ABSTRACT

Alternating minimization (AM) optimization algorithms have been known for a long time and are of importance in machine learning problems, among which we are mostly motivated by approximating optimal transport distances. AM algorithms assume that the decision variable is divided into several blocks and minimization in each block can be done explicitly or cheaply with high accuracy. The ubiquitous Sinkhorn's algorithm can be seen as an alternating minimization algorithm for the dual to the entropy-regularized optimal transport problem. We introduce an accelerated alternating minimization method with a $1/k^2$ convergence rate, where $k$ is the iteration counter. This improves over known bound $1/k$ for general AM methods and for the Sinkhorn's algorithm. Moreover, our algorithm converges faster than gradient-type methods in practice as it is free of the choice of the step-size and is adaptive to the local smoothness of the problem. We show that the proposed method is primal-dual, meaning that if we apply it to a dual problem, we can reconstruct the solution of the primal problem with the same convergence rate. We apply our method to the entropy regularized optimal transport problem and show experimentally, that it outperforms Sinkhorn's algorithm.

研究动机与目标

• 解决标准交替最小化和Sinkhorn算法在熵正则化最优传输问题中收敛缓慢的问题。
• 开发一种交替最小化的加速变体，使其相比标准的 $1/k$ 收敛速率，实现更快的 $1/k^2$ 收敛速率。
• 设计一种自适应于局部问题光滑性的方法，避免对步长选择的依赖。
• 确保算法保持原对偶结构，从而以相同的收敛速率恢复原始解。

提出的方法

• 所提出的方法将Nesterov风格的加速应用于交替最小化，引入依赖于迭代次数 $k$ 的动量项。
• 通过交替最小化关于变量各块的对偶目标函数，尽可能使用闭式更新。
• 加速机制确保对偶目标函数的全局 $1/k^2$ 收敛速率，优于标准的 $1/k$ 速率。
• 该算法为原对偶方法：求解对偶问题可获得与对偶相同 $1/k^2$ 收敛速率的原始解。
• 该方法自适应于局部光滑性，消除了基于梯度方法中常见的手动步长选择需求。
• 该方法应用于熵正则化最优传输问题，利用对偶结构实现高效更新。

实验结果

研究问题

• RQ1 能否在熵正则化最优传输问题中对交替最小化进行加速，以实现 $1/k^2$ 的收敛速率？
• RQ2 所提出的加速方法在实践中是否优于Sinkhorn算法和基于梯度的方法？
• RQ3 该算法能否在实现更快收敛的同时保持原对偶结构？
• RQ4 该方法是否自适应于局部问题光滑性，从而消除对步长调节的需求？
• RQ5 加速交替最小化能否在大规模最优传输问题中实现高效计算？

主要发现

• 所提出的加速交替最小化方法在对偶目标函数上实现了 $1/k^2$ 的收敛速率，优于一般交替最小化和Sinkhorn算法的标准 $1/k$ 速率。
• 该方法在实践中优于Sinkhorn算法，在基准最优传输问题上表现出更快的收敛速度。
• 该算法自适应于局部光滑性，消除了对步长选择的需求，提高了鲁棒性。
• 原对偶结构使得原始解的恢复可达到与对偶相同的 $1/k^2$ 收敛速率。
• 实验结果证实，由于其自适应特性和无步长依赖性，该方法的收敛速度优于基于梯度的方法。