[论文解读] Proximal Splitting Algorithms for Convex Optimization: A Tour of Recent Advances, with New Twists

Laurent Condat, Daichi Kitahara+2 more|arXiv (Cornell University)|Nov 30, 2019

Optimization and Variational Analysis被引用 7

一句话总结

本文通过将凸优化中的近端分裂算法统一为带有定制度量的原始-对偶单调包含问题，提出了一套统一的框架。该框架推导出新的算法变体并扩展了收敛性保证，表明松弛参数可被提高——尤其在二次情形下——从而在不损失收敛稳定性的前提下实现更快的收敛速度。

ABSTRACT

Convex nonsmooth optimization problems, whose solutions live in very high dimensional spaces, have become ubiquitous. To solve them, the class of first-order algorithms known as proximal splitting algorithms is particularly adequate: they consist of simple operations, handling the terms in the objective function separately. In this overview, we demystify a selection of recent proximal splitting algorithms: we present them within a unified framework, which consists in applying splitting methods for monotone inclusions in primal-dual product spaces, with well-chosen metrics. Along the way, we easily derive new variants of the algorithms and revisit existing convergence results, extending the parameter ranges in several cases. In particular, we emphasize that when the smooth term in the objective function is quadratic, e.g., for least-squares problems, convergence is guaranteed with larger values of the relaxation parameter than previously known. Such larger values are usually beneficial for the convergence speed in practice.

研究动机与目标

• 将一类广泛的一阶近端分裂算法统一于基于原始-对偶乘积空间中单调包含的单一理论框架下。
• 从该框架中自然推导出新的算法变体，特别是针对具有二次光滑项的问题。
• 通过扩大松弛参数的允许范围，扩展收敛结果，尤其在存在二次目标函数时。
• 为大规模问题系统地推导关键算法的并行版本。
• 通过统一的理论视角，阐明看似不同的算法（如 Chambolle–Pock、PD3O、Davis–Yin）之间的联系。

提出的方法

• 将原始-对偶优化问题表述为原始变量与对偶变量乘积空间中的单调包含问题。
• 应用带有合适度量的原始-对偶前向-后向分裂方法，以处理该包含问题的结构。
• 在更新步骤中引入松弛参数以加速收敛，且在更宽松的条件下证明收敛性。
• 通过邻近算子和对偶前向步骤分别处理非光滑项与光滑项，从而实现模块化算法设计。
• 通过在目标函数的多个项之间解耦更新，推导出算法的并行版本。
• 通过引入辅助变量（如 $\tilde{s}^{(i)}$、$a^{(i)}$）重述算法，以简化迭代结构并提升可解释性。

实验结果

研究问题

• RQ1 如何将广泛范围的近端分裂算法统一于单一理论框架之下？
• RQ2 松弛参数需满足何种条件才能保证收敛？这些范围是否可以扩展，尤其是在存在二次光滑项时？
• RQ3 如何系统地从所提出的框架中推导出新的算法变体？
• RQ4 在该框架中，Chambolle–Pock、PD3O 和 Davis–Yin 等知名算法之间存在何种关系？
• RQ5 能否为大规模问题推导出具有收敛性保证的并行与过松弛算法变体？

主要发现

• 所提出的框架将若干著名的近端分裂算法（包括 Chambolle–Pock、PD3O 和 Davis–Yin）统一于单一单调包含公式下。
• 当松弛参数 $\rho^{(i)} \in [0, \delta]$ 且 $\delta = 2 - \tau\beta/2$ 时，保证收敛，扩展了先前的参数范围。
• 对于二次光滑项（如最小二乘问题），松弛参数可超过经典限制 $\rho < 2$，从而显著提升实际收敛速度。
• 该框架自然导出新的算法变体，包括并行与过松弛版本，且具有收敛性保证。
• 正式建立了 PD3O 与 Loris–Verhoeven 算法及 Chambolle–Pock 算法之间的联系，表明它们是该框架下的特例。
• 使用 $\tilde{s}^{(i)}$ 和 $a^{(i)}$ 等辅助变量可简化迭代过程，并更清晰地解释算法步骤。