[论文解读] Variable Smoothing for Weakly Convex Composite Functions

B\"ohm, Axel, Wright, Stephen J.|arXiv (Cornell University)|Mar 17, 2020

Sparse and Compressive Sensing Techniques参考文献 46被引用 14

一句话总结

该论文提出了一种用于最小化弱凸复合函数的可变平滑算法，通过使用递减平滑参数的Moreau包络，实现找到 ϵ-近似驻点的 O(ϵ⁻³) 迭代复杂度。该方法利用邻近算子，并在光滑方法（O(ϵ⁻²)）与次梯度方法（O(ϵ⁻⁴)）之间实现插值，为具有结构化非光滑性的问题（如使用非凸正则化器的图像重建）提供了改进的收敛性能。

ABSTRACT

We study minimization of a structured objective function, being the sum of a smooth function and a composition of a weakly convex function with a linear operator. Applications include image reconstruction problems with regularizers that introduce less bias than the standard convex regularizers. We develop a variable smoothing algorithm, based on the Moreau envelope with a decreasing sequence of smoothing parameters, and prove a complexity of $\mathcal{O}(\epsilon^{-3})$ to achieve an $\epsilon$-approximate solution. This bound interpolates between the $\mathcal{O}(\epsilon^{-2})$ bound for the smooth case and the $\mathcal{O}(\epsilon^{-4})$ bound for the subgradient method. Our complexity bound is in line with other works that deal with structured nonsmoothness of weakly convex functions.

研究动机与目标

• 解决涉及光滑项与线性算子复合的弱凸函数的复合函数最小化挑战。
• 通过采用非凸弱凸替代方案（如MCP和SCAD）而非ℓ1等凸正则化器，克服稀疏恢复与图像重建中引入的偏差。
• 设计一种结构化算法，利用Moreau包络平滑非光滑分量，同时通过邻近算子保持计算可行性。
• 建立实现 ϵ-近似驻性的 O(ϵ⁻³) 收敛速率，该速率在光滑方法与次梯度方法之间实现插值。
• 在使用弱凸正则化器的图像去噪任务中，证明可变平滑方法相较于朴素次梯度方法具有优越性。

提出的方法

• 使用参数为 µ 的弱凸函数 g 的 Moreau 包络作为其光滑近似，构造平滑代理函数 Fµ = h + gµ ◦ A。
• 应用基于梯度的下降步骤：x ← x − γ∇(h + gµ ◦ A)(x)，采用自适应步长 γ，以最小化平滑目标函数。
• 采用递减的平滑参数序列 {µk}，逐步改进近似并推动收敛。
• 确保关键非凸正则化器（如MCP、SCAD、Tukey双权）的 µg 的邻近算子可解析计算，从而实现高效实现。
• 基于 Moreau 包络的梯度范数设计临界性度量，作为驻性的光滑代理进行收敛性分析。
• 通过精心选择 µk 序列（其衰减率为 k⁻¹/³），在临界性与可行性度量之间实现平衡，确保最优收敛速率。

实验结果

研究问题

• RQ1 通过 Moreau 包络实现的可变平滑是否能在弱凸复合问题中实现优于黑箱次梯度方法的迭代复杂度？
• RQ2 所提算法的收敛速率与光滑非凸问题上的标准梯度下降方法相比如何？
• RQ3 在图像重建中，使用弱凸正则化器（如MCP、SCAD）相较于ℓ1正则化，能在多大程度上减少解的偏差？
• RQ4 为在收敛分析中平衡临界性与可行性，平滑参数序列 {µk} 的最优衰减速率是什么？
• RQ5 该可变平滑框架能否扩展至处理复合结构 g(Ax) 中的一般线性算子 A，而不仅限于简单加法形式？

主要发现

• 所提可变平滑算法实现 O(ϵ⁻³) 的迭代复杂度以找到 ϵ-近似驻点，该复杂度严格介于光滑非凸问题的 O(ϵ⁻²) 上界与次梯度方法的 O(ϵ⁻⁴) 上界之间。
• 该收敛速率对弱凸复合问题类是最优的，并与其它结构化非光滑方法的已知界一致。
• 在基于MCP的总变差图像去噪数值实验中，该方法优于朴素次梯度方案，表现出更快的收敛速度与更优的重建质量。
• Moreau 包络为弱凸函数提供了有效的光滑近似，使基于梯度的优化成为可能，同时保留了原始问题的结构。
• 当 A 为恒等算子时，邻近梯度方法实现 O(ϵ⁻²) 复杂度，证实 O(ϵ⁻³) 上界源于线性算子复合带来的额外复杂性。
• 分析表明，临界性与可行性度量均以 O(k⁻¹/³) 的速率下降，表明平滑序列选择中实现了良好的平衡。