[论文解读] The Douglas-Rachford Algorithm for Weakly Convex Penalties

İlker Bayram, Ivan Selesnick|arXiv (Cornell University)|Nov 12, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用 5

一句话总结

该论文通过证明当一个函数为强凸且光滑，另一个为弱凸时的收敛性，将Douglas-Rachford算法扩展至弱凸惩罚。提出了两种算法：一种使用标准迭代并满足步长条件，另一种通过二次项变换消除了对光滑性的要求，数值实验表明两者均比ISTA收敛更快。

ABSTRACT

The Douglas-Rachford algorithm is widely used in sparse signal processing for minimizing a sum of two convex functions. In this paper, we consider the case where one of the functions is weakly convex but the other is strongly convex so that the sum is convex. We provide a condition that ensures the convergence of the same Douglas-Rachford iterations, provided that the strongly convex function is smooth. We also present a modified Douglas-Rachford algorithm that does not impose a smoothness condition for the convex function. We then provide a discussion on the convergence speed of the two types of algorithms and demonstrate the discussion with numerical experiments.

研究动机与目标

• 在其中一个函数为强凸且光滑、另一个为弱凸的条件下，建立标准Douglas-Rachford算法的收敛性。
• 开发一种改进的Douglas-Rachford算法，以消除对强凸函数光滑性的要求。
• 在数值设置下比较两种算法的收敛速度。
• 证明所提出的算法在稀疏信号恢复中的收敛速度优于ISTA。

提出的方法

• 证明在步长条件 α ≤ 1/√(σρ) 下，标准Douglas-Rachford迭代的收敛性，其中 σ 是 ∇f 的Lipschitz常数，ρ 是 g 的弱凸性参数。
• 通过向 f 和 g 添加并减去二次项，将它们转化为凸函数，从而提出一种改进算法，无需 f 的光滑性即可保证收敛。
• 利用变换后的参数 β₁ = α/(1+αρ) 和 β₂ = α/(1−αρ) 定义新的近端算子 K₁ 和 K₂，确保变换后函数的凸性。
• 在新算子 K₁ 和 K₂ 的框架下应用标准Douglas-Rachford迭代，推导出一种无需 f 光滑性的新算法。
• 将算法应用于稀疏信号恢复问题，使用非凸惩罚 Pτ,ρ(t)，该惩罚可诱导固定阈值算子。
• 在数值实验中以ISTA为基线，通过目标函数下降和到最小值点距离来比较收敛性能。

实验结果

研究问题

• RQ1 当一个函数为弱凸，另一个为强凸且光滑时，标准Douglas-Rachford算法在何种条件下收敛？
• RQ2 Douglas-Rachford算法能否被调整以在不依赖强凸函数光滑性的情况下运行？
• RQ3 在稀疏信号恢复的实际应用中，两种所提算法的收敛速度如何比较？
• RQ4 所提算法在收敛速度和目标函数下降方面是否优于ISTA？

主要发现

• 当 α ≤ 1/√(σρ) 时，标准Douglas-Rachford算法收敛，极限点与 h = f + g 的最小值点相关。
• 基于二次项变换的改进算法确保了无需 f 光滑性的收敛性，从而将适用范围扩展至非光滑的强凸函数。
• 数值实验表明，两种所提算法在目标函数下降和到最小值点距离方面均比ISTA收敛更快。
• 当 f 的Hessian更接近单位矩阵（即 σ/s 较小时），第一种算法（需光滑性）收敛更快，与理论预期一致。
• 在不同噪声和信号实现下，两种所提算法之间未观察到一致的收敛速度趋势，但两者均优于ISTA。
• 与弱凸惩罚 Pτ,ρ(t) 相关的固定阈值算子不是非扩张的，表明其近端算子表现出非平凡行为。