[论文解读] The rate of convergence of Nesterov's accelerated forward-backward method is actually $o(k^{-2})$

Hédy Attouch, Juan Peypouquet|arXiv (Cornell University)|Oct 29, 2015

Sparse and Compressive Sensing Techniques参考文献 17被引用 6

一句话总结

本文证明，Nesterov加速前向-后向法的一种变体在函数值上的收敛速率为 $o(k^{-2})$，优于标准的 $ackslash mathcal{O}(k^{-2})$ 界。该分析通过建立与阻尼系数趋于零的二阶微分包含之间的联系，为收敛序列建立了更紧致的渐近收敛速率。

ABSTRACT

The {\it forward-backward algorithm} is a powerful tool for solving optimization problems with a {\it additively separable} and {\it smooth} + {\it nonsmooth} structure. In the convex setting, a simple but ingenious acceleration scheme developed by Nesterov has been proved useful to improve the theoretical rate of convergence for the function values from the standard $\mathcal O(k^{-1})$ down to $\mathcal O(k^{-2})$. In this short paper, we prove that the rate of convergence of a slight variant of Nesterov's accelerated forward-backward method, which produces {\it convergent} sequences, is actually $o(k^{-2})$, rather than $\mathcal O(k^{-2})$. Our arguments rely on the connection between this algorithm and a second-order differential inclusion with vanishing damping.

研究动机与目标

• 为一种生成收敛序列的Nesterov加速前向-后向法变体建立更紧致的收敛速率。
• 解决标准 $ackslash mathcal{O}(k^{-2})$ 界与该方法实际渐近行为之间的差异。
• 通过证明收敛速率严格优于 $ackslash mathcal{O}(k^{-2})$，即为 $o(k^{-2})$，澄清理论收敛速率。
• 形式化离散加速算法与具有消失阻尼的连续二阶微分包含之间的联系。

提出的方法

• 作者分析了一种改进的Nesterov加速前向-后向法变体，以确保迭代序列的收敛性。
• 他们建立了离散算法与具有消失阻尼的二阶微分包含之间的联系，以建模连续时间极限。
• 分析采用李雅普诺夫函数与能量方法，研究目标函数误差的衰减行为。
• 通过考察能量函数在 $k \to \infty$ 时的渐近行为，推导出收敛速率。
• 该方法依赖微分包含理论，以刻画加速算法的长期动力学行为。

实验结果

研究问题

• RQ1 Nesterov加速前向-后向法的实际收敛速率是否确实优于 $ackslash mathcal{O}(k^{-2})$？
• RQ2 对于该算法的收敛变体，是否可将速率 $ackslash mathcal{O}(k^{-2})$ 精炼为 $o(k^{-2})$？
• RQ3 具有消失阻尼的二阶微分包含在建模加速方法中起什么作用？
• RQ4 连续时间模型如何解释离散收敛行为？

主要发现

• 所提出的Nesterov加速前向-后向法变体在函数值上的收敛速率为 $o(k^{-2})$，而非 $ackslash mathcal{O}(k^{-2})$。
• 该方法生成收敛的迭代序列，而原始Nesterov方法的迭代序列可能不收敛。
• 与具有消失阻尼的二阶微分包含的联系提供了连续时间解释，可说明改进的收敛速率。
• 目标误差的渐近衰减速率严格快于 $k^{-2}$，能量函数分析已证实这一点。