[论文解读] Supervised Learning of Sparsity-Promoting Regularizers for Denoising

Michael T. McCann, Saiprasad Ravishankar|arXiv (Cornell University)|Jun 9, 2020

Image and Signal Denoising Methods参考文献 33被引用 9

一句话总结

本文提出了一种监督学习框架，用于优化图像去噪中的稀疏性促进分析算子，采用双线性变分公式，其中正则化参数通过在成对的真实图像与噪声图像上最小化重建误差进行训练。关键贡献是通过Karush–Kuhn–Tucker条件推导梯度，实现无需松弛的端到端训练，从而在去噪性能上优于传统方法和无监督方法。

ABSTRACT

We present a method for supervised learning of sparsity-promoting regularizers for image denoising. Sparsity-promoting regularization is a key ingredient in solving modern image reconstruction problems; however, the operators underlying these regularizers are usually either designed by hand or learned from data in an unsupervised way. The recent success of supervised learning (mainly convolutional neural networks) in solving image reconstruction problems suggests that it could be a fruitful approach to designing regularizers. As a first experiment in this direction, we propose to denoise images using a variational formulation with a parametric, sparsity-promoting regularizer, where the parameters of the regularizer are learned to minimize the mean squared error of reconstructions on a training set of (ground truth image, measurement) pairs. Training involves solving a challenging bilievel optimization problem; we derive an expression for the gradient of the training loss using Karush-Kuhn-Tucker conditions and provide an accompanying gradient descent algorithm to minimize it. Our experiments on a simple synthetic, denoising problem show that the proposed method can learn an operator that outperforms well-known regularizers (total variation, DCT-sparsity, and unsupervised dictionary learning) and collaborative filtering. While the approach we present is specific to denoising, we believe that it can be adapted to the whole class of inverse problems with linear measurement models, giving it applicability to a wide range of image reconstruction problems.

研究动机与目标

• 开发一种监督学习方法，用于优化图像去噪中的稀疏性促进正则化项，超越手工设计或无监督正则化项。
• 解决参数化分析算子（W_θ）的训练挑战，通过构建一个双层优化问题，以最小化训练集上的重建误差。
• 利用KKT条件推导训练损失的精确梯度，实现无需松弛不可微的ℓ1范数的可微优化。
• 证明监督学习分析算子可显著提升去噪性能，优于标准稀疏性正则化方法。
• 为将该方法推广至一般线性反问题及非线性正则化项（如基于CNN的算子）奠定基础。

提出的方法

• 该方法采用变分去噪公式：最小化 ||x − y||²/2 + β||W_θ x||₁，其中W_θ为参数化分析算子，β为固定正则化强度。
• 训练目标Q(θ)定义为在训练集的(x_t, y_t)成对样本上，重构结果x*(W_θ, y_t)与真实图像x_t之间的均方误差。
• 关键创新在于利用Karush–Kuhn–Tucker（KKT）条件推导Q(θ)的梯度，避免对ℓ1范数进行松弛，从而实现对内层优化问题解的精确反向传播。
• 通过求解来自去噪子问题KKT条件的线性系统来计算梯度，使梯度下降能够优化θ。
• 该方法应用于一个包含2D图像数据集的合成去噪任务，其中W_θ初始化为DCT变换，并在数据分布上进行自适应训练。
• 该方法扩展至分析学习到的滤波器及其响应图，与DCT和无监督字典学习在滤波器结构和稀疏性模式方面进行比较。

实验结果

研究问题

• RQ1 与总变差（TV）和DCT等标准稀疏性正则化项相比，监督学习分析算子是否能显著提升图像去噪性能？
• RQ2 是否可行通过KKT条件计算涉及不可微ℓ1正则化项的双层训练目标的梯度？
• RQ3 与无监督字典学习获得的滤波器相比，学习到的滤波器在正交性、滤波器范数和响应模式方面有何不同？
• RQ4 该方法是否可推广至更复杂的反问题（如引入线性前向模型H）而不仅限于去噪？
• RQ5 参数化灵活性（如非正交、加权滤波器）对重建质量有何影响？

主要发现

• 该监督方法在测试图像上实现了23.2 dB的峰值信噪比（PSNR），优于总变差（23.2 dB）、DCT（22.1 dB）和无监督字典学习（22.9 dB），且监督方法的误差图中噪声更少。
• 学习到的分析算子产生了非正交滤波器，其范数在0.75至1.54之间变化，实现了更自适应的平滑，有效减少了平坦区域的噪声，同时保留了边缘。
• 聚合滤波器响应图显示，与DCT和无监督方法相比，该监督方法在图像角落处增强了响应，同时在边缘处减少了响应，表明结构保持能力更强。
• 尽管两者均以DCT滤波器初始化，该监督方法仍优于无监督字典学习，证明了监督在正则化项学习中的优势。
• 基于KKT的梯度计算实现了分析算子的有效训练，无需松弛ℓ1惩罚项，验证了该理论框架在可微双层优化中的有效性。
• 该方法在推广至一般线性反问题和非线性正则化项（如基于CNN的算子）方面展现出潜力，但当正则化项为非凸时，求解内层优化问题仍具挑战。