[论文解读] Proximal Splitting Methods in Signal Processing

Patrick L. Combettes, Jean‐Christophe Pesquet|Dec 17, 2009

Sparse and Compressive Sensing Techniques参考文献 79被引用 127

一句话总结

本文提出近端分裂方法作为一种统一框架，用于解决信号处理中的凸优化问题，利用近端算子处理不可微函数。结果表明，诸如迭代阈值法和ADMM等知名算法均为其特例，从而为稀疏恢复、去噪和重建问题提供了高效且可并行化的解决方案。

ABSTRACT

The proximity operator of a convex function is a natural extension of the notion of a projection operator onto a convex set. This tool, which plays a central role in the analysis and the numerical solution of convex optimization problems, has recently been introduced in the arena of signal processing, where it has become increasingly important. In this paper, we review the basic properties of proximity operators which are relevant to signal processing and present optimization methods based on these operators. These proximal splitting methods are shown to capture and extend several well-known algorithms in a unifying framework. Applications of proximal methods in signal recovery and synthesis are discussed.

研究动机与目标

• 将多样化的信号处理算法（如迭代阈值法、投影梯度法和ADMM）统一于统一的近端分裂框架之下。
• 系统性地介绍近端算子及其性质，强调其在求解不可微凸优化问题中的作用。
• 将经典投影型方法（如Dykstra算法）扩展至处理强凸目标函数，引入近端扩展。
• 为涉及线性变换的问题开发并行与复合优化算法，实现在多核架构上的可扩展求解。
• 展示近端方法在真实世界信号与图像处理任务中的适用性，包括去噪、去模糊和压缩感知。

提出的方法

• 将近端算子作为凸集投影的推广，通过包含凸函数和二次项的最小化子问题进行定义。
• 采用前向-后向算法和Douglas-Rachford算法作为处理两个函数问题的基底近端分裂方案。
• 提出同时方向乘子法（SDMM）以求解涉及多个函数和线性变换的复合问题。
• 将涉及 $ g_i(L_i x) $ 的复合问题重新表述为乘积空间中的鞍点问题，从而可应用ADMM类方法。
• 推导出近端算法的并行变体，支持同时计算近端向量和辅助变量，适用于多核与分布式计算。
• 在标准条件下（包括约束资格和强凸性）建立收敛性保证，确保实际应用中的鲁棒性。

实验结果

研究问题

• RQ1 如何系统性地应用近端算子，以统一并推广现有的信号处理算法？
• RQ2 当应用于稀疏信号恢复中常见的非光滑、不可微目标函数时，近端分裂算法的收敛性特性如何？
• RQ3 在涉及线性变换的复合问题中，其结构如何被利用以设计高效且可并行化的优化算法？
• RQ4 近端方法如何将经典投影型算法（如Dykstra方法）扩展至处理强凸目标函数？
• RQ5 在实际应用中，对近端计算的近似程度在多大程度上可被容忍，而不会影响收敛性？

主要发现

• 前向-后向算法和Douglas-Rachford算法被证明是通用近端分裂框架的特例，统一了如迭代阈值法和投影梯度下降等方法。
• SDMM算法为形式为 $ \text{minimize } \textstyle\bigsum_{i=1}^m g_i(L_i x) $ 的复合问题提供了收敛且可并行化的解决方案，其收敛性在标准约束资格下得到保证。
• 近端方法可高效求解不可微目标函数问题，如 $ \text{TV} $-正则化去噪和压缩感知中的 $ \ell_1 $-最小化。
• 该框架允许将近端算子作为大型算法中的子程序使用，即使在计算不精确的情况下，只要满足弱条件，收敛性仍可保持。
• 算法的并行结构（尤其在SDMM中）使得其在现代多核与分布式计算架构上可高效实现。
• 本文及相关工作（如 [118], [71]）的数值结果证实，SDMM在泊松噪声下的去模糊任务中表现有效，展示了其在真实成像问题中的实际应用价值。