[论文解读] New explicit thresholding/shrinkage formulas for one class of regularization problems with overlapping group sparsity and their applications

Gang Liu, Ting‐Zhu Huang+2 more|arXiv (Cornell University)|Dec 24, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用 3

一句话总结

本文为具有平移不变重叠组的重叠组稀疏性（OGS）正则化问题提出了一类新的显式阈值化/收缩公式，通过交替方向乘子法（ADMM）实现高效求解。核心贡献是闭式收缩解，避免了迭代主导最小化方法，显著提升了总变差（TV）基图像去模糊与去噪的计算效率，同时保持了高精度。

ABSTRACT

The least-square regression problems or inverse problems have been widely studied in many fields such as compressive sensing, signal processing, and image processing. To solve this kind of ill-posed problems, a regularization term (i.e., regularizer) should be introduced, under the assumption that the solutions have some specific properties, such as sparsity and group sparsity. Widely used regularizers include the $\ell_1$ norm, total variation (TV) semi-norm, and so on. Recently, a new regularization term with overlapping group sparsity has been considered. Majorization minimization iteration method or variable duplication methods are often applied to solve them. However, there have been no direct methods for solve the relevant problems because of the difficulty of overlapping. In this paper, we proposed new explicit shrinkage formulas for one class of these relevant problems, whose regularization terms have translation invariant overlapping groups. Moreover, we apply our results in TV deblurring and denoising with overlapping group sparsity. We use alternating direction method of multipliers to iterate solve it. Numerical results also verify the validity and effectiveness of our new explicit shrinkage formulas.

研究动机与目标

• 为解决现有重叠组稀疏性（OGS）正则化问题计算效率低下的问题，这些方法依赖于迭代主导最小化或变量复制。
• 为具有平移不变重叠组的一类特定OGS正则化问题，推导闭式阈值化/收缩公式。
• 将这些公式应用于基于总变差（TV）的图像去模糊与去噪，提升计算速度与解的质量。
• 为基于ADMM的算法在L1与L2保真项下建立收敛性保证。
• 在不同噪声与模糊水平下，展示所提方法的鲁棒性及广泛参数适应范围。

提出的方法

• 为具有平移不变重叠组的OGS正则化所引出的优化子问题，提出显式收缩公式。
• 推导在重叠组范数存在下类似软阈值操作的闭式解，避免内层迭代。
• 应用交替方向乘子法（ADMM）求解整体优化问题，利用推导出的显式公式实现快速更新。
• 将框架扩展至各向异性（ATV）与各向同性（ITV）TV模型，用于图像去模糊与去噪。
• 采用加权广义ℓ2,1-范数正则化，组间权重相同，以保持平移不变性并实现解析可解性。
• 在ADMM中引入松弛参数（γ = 1.618），以加速收敛并稳定迭代过程。

实验结果

研究问题

• RQ1 能否为具有平移不变重叠组的一类重叠组稀疏性正则化问题推导出显式收缩公式？
• RQ2 这些公式能否高效集成到ADMM框架中，以无需内层子问题求解器的方式求解图像去模糊与去噪问题？
• RQ3 与现有方法相比，所提方法在PSNR、重建误差与计算时间方面的性能如何？
• RQ4 所提方法在不同噪声水平与模糊条件下是否保持鲁棒性？
• RQ5 该框架能否扩展至具有重叠组稀疏性的各向异性和各向同性TV模型？

主要发现

• 所提显式收缩公式消除了对内层迭代求解器的需求，使每次ADMM迭代的计算成本几乎与传统TV方法持平。
• 在30%盐椒噪声下，所提CATVOGSL1与CITVOGSL1方法在图像(d)上的PSNR分别达到32.30 dB与32.08 dB，优于Chan [6]，且在PSNR上与Liu [24]相当，但速度更快。
• 方法在参数选择上表现出鲁棒性，在不同噪声水平（30%、40%、50%）与图像类型下均保持一致性能。
• 数值结果表明，所提方法的ATV与ITV变体在PSNR与重建误差方面与Liu [24]相当或更优，而后者依赖于内层MM迭代。
• 基于新收缩公式的ADMM算法收敛可靠，已为L1与L2保真模型建立收敛性保证。
• 图6的视觉结果证实，所提方法在保留细小边缘（如扶手、窗户）方面优于Chan [6]，且在边缘恢复方面与Liu [24]具有竞争力。