[论文解读] Splitting the Smoothed Primal-Dual Gap: Optimal Alternating Direction Methods

Quoc Tran Dinh, Volkan Cevher|arXiv (Cornell University)|Jul 14, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用 5

一句话总结

本文提出了一种用于约束凸优化的新型分拆间隙减少（SGR）技术，使增广拉格朗日乘子法在无需惩罚参数调优的情况下实现最优收敛速率。通过利用原型模板中的分拆结构，SGR 将平滑的原-对偶间隙分析扩展至前向-后向分裂和 Douglas-Rachford 分裂，通过同时更新原变量与对偶变量以及平滑性参数，实现最优收敛速率。

ABSTRACT

We develop rigorous alternating direction optimization methods for a prototype constrained convex optimization template, which has broad applications in computational sciences. We build upon our earlier work on the model-based gap reduction (MGR) technique, which revolves around a smoothed estimate of the primal-dual gap. MGR allows us to simultaneously update a sequence of primal and dual variables as well as primal and dual smoothness parameters so that the smoothed gap function converges to the true gap, which in turn converges to zero -- both at optimal rates. In contrast, this paper introduces a new split-gap reduction (SGR) technique as a natural counterpart of MGR in order to take advantage of additional splitting structures present in the prototype template. We illustrate SGR technique using the forward-backward and Douglas-Rachford splittings on the smoothed gap function and derive new alternating direction methods. The new methods obtain optimal convergence rates without heuristics and eliminate the infamous penalty parameter tuning issue in the existing alternating direction methods. Finally, we verify the performance of our methods in comparison to the existing state-of-the-art and the new theoretical performance bounds via numerical examples.

研究动机与目标

• 解决在凸优化的交替方向法中惩罚参数调优的挑战。
• 开发一种基于分裂的间隙减少技术，利用优化模板中的结构分解。
• 通过扩展平滑原-对偶间隙框架，实现无需启发式方法的最优收敛速率。
• 为约束凸优化提供一种严格且收敛速率最优的方法，提升稳定性和性能。

提出的方法

• 提出一种分拆间隙减少（SGR）技术，作为基于模型的间隙减少（MGR）框架的自然延伸。
• 将前向-后向分裂和 Douglas-Rachford 分裂应用于平滑原-对偶间隙函数，以实现结构化优化。
• 通过同时更新原变量与对偶变量以及原变量与对偶变量的平滑性参数，使平滑间隙以最优速率收敛至零。
• 使用原-对偶间隙的平滑估计，实现无需惩罚参数的稳定且自适应的收敛。
• 推导出基于间隙最小化的新型交替方向方法，并提供理论收敛保证。
• 将分裂结构整合到间隙减少过程中，以提升算法效率和收敛行为。

实验结果

研究问题

• RQ1 能否开发一种新型间隙减少技术，利用分裂结构以改善交替方向法中的收敛性能？
• RQ2 如何在不依赖启发式惩罚参数调优的情况下实现最优收敛速率？
• RQ3 能否将平滑原-对偶间隙框架扩展至通过前向-后向和 Douglas-Rachford 方案支持结构化分裂？
• RQ4 与现有方法相比，基于 SGR 的新方法的理论收敛行为如何？

主要发现

• 所提出的基于 SGR 的交替方向方法在无需惩罚参数调优的情况下实现了最优收敛速率。
• 该方法成功消除了对启发式参数选择的需求，这是传统 ADMM 变体中的主要局限。
• 数值实验结果证实其性能优于最先进方法，并验证了理论收敛边界。
• 原变量与对偶变量及平滑性参数的同步更新确保了平滑间隙以最优速率收敛至零。
• SGR 技术通过利用优化模板中的额外分裂结构，为 MGR 提供了自然对应。