[论文解读] Noise2Kernel: Adaptive Self-Supervised Blind Denoising using a Dilated Convolutional Kernel Architecture

Kanggeun Lee, Won‐Ki Jeong|arXiv (Cornell University)|Dec 7, 2020

Image and Signal Denoising Methods被引用 5

一句话总结

Noise2Kernel 提出了一种端到端的自适应自监督学习框架，用于盲去噪，采用空洞卷积核架构，在椒盐噪声和融合噪声上实现了最先进性能。通过利用具有甜甜圈状感受野的空间自适应空洞卷积，该方法确保网络输出对原始噪声像素保持不变，从而在无需成对数据或噪声模型知识的情况下实现鲁棒去噪。

ABSTRACT

With the advent of recent advances in unsupervised learning, efficient training of a deep network for image denoising without pairs of noisy and clean images has become feasible. However, most current unsupervised denoising methods are built on the assumption of zero-mean noise under the signal-independent condition. This assumption causes blind denoising techniques to suffer brightness shifting problems on images that are greatly corrupted by extreme noise such as salt-and-pepper noise. Moreover, most blind denoising methods require a random masking scheme for training to ensure the invariance of the denoising process. In this paper, we propose a dilated convolutional network that satisfies an invariant property, allowing efficient kernel-based training without random masking. We also propose an adaptive self-supervision loss to circumvent the requirement of zero-mean constraint, which is specifically effective in removing salt-and-pepper or hybrid noise where a prior knowledge of noise statistics is not readily available. We demonstrate the efficacy of the proposed method by comparing it with state-of-the-art denoising methods using various examples.

研究动机与目标

• 解决推理过程中噪声类型和参数未知的盲去噪挑战。
• 开发一种无需成对干净-噪声数据的自监督学习框架。
• 设计一种神经网络架构，确保对原始噪声像素的不变性，从而在任意噪声模型下实现鲁棒去噪。
• 在复杂的真实世界噪声模式（如椒盐噪声和融合噪声）上实现最先进性能。
• 在无需显式噪声建模或监督的情况下，实现对多种噪声类型的泛化能力。

提出的方法

• 提出一种具有自适应空洞率的空洞卷积核架构，以控制感受野的扩展。
• 使用一种环形卷积层，排除中心像素，确保网络输出与原始噪声像素无关。
• 通过堆叠多层空洞卷积，逐步增大空洞率，以逐步扩展感受野。
• 通过理论证明网络的不变性特性：当空洞率 d ≥ ⌈K/2⌉ 时，原始像素的信息不会传递到输出。
• 仅使用噪声图像进行端到端的自监督对比学习训练，无需干净数据监督。
• 利用网络通过掩码中心像素并从周围上下文预测其内容的能力，实现干净特征的重建。

实验结果

研究问题

• RQ1 自监督神经网络是否能在不了解噪声模型的前提下实现鲁棒的盲去噪？
• RQ2 如何设计卷积网络的感受野，使其排除原始噪声像素的同时保留上下文信息？
• RQ3 在多层空洞卷积神经网络架构中，确保对原始像素不变性的最小空洞率是多少？
• RQ4 所提出的架构在复杂噪声类型（如融合噪声）上与现有自监督方法（如 N2V 和 N2S）相比表现如何？
• RQ5 自适应空洞率是否能提升在真实世界图像中多样且未知噪声模式下的泛化能力？

主要发现

• 理论证明表明，当空洞率 d ≥ ⌈K/2⌉ 时，原始噪声像素的信息不会传递到网络最终输出，从而确保了不变性。
• 在椒盐噪声下，Noise2Kernel 的表现优于 N2V 和 N2S，显示出更优的视觉和定量结果。
• 在融合噪声（高斯噪声 + 椒盐噪声）下，当 σg = 50 且 σs = 25 时，该方法实现了最先进性能，定性比较结果表明其优势明显。
• 该方法在未知噪声类型上具有良好的泛化能力，无需微调或噪声参数估计。
• 定性结果表明，与基线方法相比，Noise2Kernel 生成的纹理更清晰，伪影更少。
• 该架构设计有效防止了原始噪声像素的信息泄露，从而实现了鲁棒的自监督学习。