[论文解读] Rethinking the CSC Model for Natural Images

Dror Simon, Michael Elad|arXiv (Cornell University)|Sep 12, 2019

Sparse and Compressive Sensing Techniques被引用 28

一句话总结

该论文提出CSCNet，一种前馈深度网络，通过使用步幅卷积对卷积稀疏编码（CSC）模型进行贝叶斯MMSE近似，实现了参数显著更少的SOTA图像去噪性能。通过重新思考CSC模型在噪声环境下的局限性，并将其建立在基于图像块平均的MMSE框架之上，该方法在BSD68数据集上的PSNR表现与DnCNN和FFDNet相当，同时仅使用63,700个参数——证明了通过CSC实现的结构化稀疏性可在现代深度学习中有效利用，而无需批归一化或参数量庞大的架构。

ABSTRACT

Sparse representation with respect to an overcomplete dictionary is often used when regularizing inverse problems in signal and image processing. In recent years, the Convolutional Sparse Coding (CSC) model, in which the dictionary consists of shift-invariant filters, has gained renewed interest. While this model has been successfully used in some image processing problems, it still falls behind traditional patch-based methods on simple tasks such as denoising. In this work we provide new insights regarding the CSC model and its capability to represent natural images, and suggest a Bayesian connection between this model and its patch-based ancestor. Armed with these observations, we suggest a novel feed-forward network that follows an MMSE approximation process to the CSC model, using strided convolutions. The performance of this supervised architecture is shown to be on par with state of the art methods while using much fewer parameters.

研究动机与目标

• 为解决卷积稀疏编码（CSC）模型在图像去噪等图像复原任务中表现不佳的问题，其性能低于基于图像块的方法。
• 探究CSC在建模加性噪声下自然图像时的理论与实际局限性，尤其与基于图像块平均（PA）方案的对比。
• 开发一种监督式、前馈深度网络，保留CSC的结构与理论优势，同时克服其在噪声环境下的弱点。
• 证明基于CSC的极小参数架构可在不依赖批归一化或深层残差模块的前提下，实现与现代SOTA去噪网络（如DnCNN和FFDNet）相当的性能。

提出的方法

• 该方法提出CSC模型的贝叶斯MMSE近似，将标准稀疏编码追踪替换为更优处理噪声的贝叶斯推理框架。
• 引入一种使用步幅卷积实现MMSE近似的前馈神经网络架构，其中滤波器权重通过反向传播端到端学习。
• 网络结构设计保留了CSC的平移不变性与全局稀疏先验，最终层通过加权组合滤波与重构后的图像块生成去噪图像估计。
• 模型在BSD68数据集上使用均方误差（MSE）损失进行训练，固定初始学习率为10^-4，每50个周期衰减一次，采用epsilon自适应优化器以防止发散。
• 架构避免使用批归一化，保留了CSC先验的纯粹性，使参数量仅与滤波器数量及其尺寸相关，而不依赖深度。
• 通过使用三通道滤波器并在彩色-BSD68数据集上训练，将方法扩展至彩色图像，保持与领先方法相当的性能。

实验结果

研究问题

• RQ1 为何标准CSC模型在图像去噪任务中表现不佳，尽管其在超分辨率和图像融合等其他反问题中表现成功？
• RQ2 基于图像块的方法中，图像块平均（PA）方案为何在噪声环境下优于CSC？其内在机制是什么？
• RQ3 CSC模型的贝叶斯MMSE近似能否恢复PA方案的性能优势，同时保持CSC的全局平移不变结构？
• RQ4 基于CSC的极小参数、非残差、非归一化的深度网络在多大程度上可达到现代SOTA去噪器（如DnCNN和FFDNet）的性能？

主要发现

• 在BSD68数据集上，CSCNet在噪声水平σ=25时达到29.11 dB的PSNR，性能与DnCNN和FFDNet相当，但仅使用63,700个参数——远少于DnCNN（556k）和FFDNet（486k）。
• 步幅卷积层的最优步长为q=7或q=8，实现了图像块独立性与相关性之间的最佳平衡，当q=1时性能下降至28.74 dB，q=11时下降至28.9 dB。
• 在彩色图像去噪中，CSCNet在σ=50时达到28.00 dB，优于CBM3D，与FFDNet和CDnCNN性能持平，证明其在灰度以外场景的泛化能力。
• 在所有噪声水平下，该模型均优于BM3D、WNNM、TNRD和MLP，展现出对传统与学习型稀疏编码基线的一致性改进。
• 未使用批归一化并未影响性能，证实当通过MMSE正确近似时，CSC先验的理论基础依然有效。
• 结果表明，CSC模型在去噪任务中的失败并非源于结构性缺陷，而是由于推理方式不当——特别是使用非MMSE追踪方法——而非模型本身固有问题。