[论文解读] Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising

Yaochen Xie, Zhengyang Wang+1 more|arXiv (Cornell University)|Oct 22, 2020

Image and Signal Denoising Methods参考文献 24被引用 40

一句话总结

Noise2Same 引入了一种自监督去噪损失，这种损失不需要 J-invariance 或噪声模型，通过推导一个上界来监督学习，并且优于先前的自监督方法。

ABSTRACT

Self-supervised frameworks that learn denoising models with merely individual noisy images have shown strong capability and promising performance in various image denoising tasks. Existing self-supervised denoising frameworks are mostly built upon the same theoretical foundation, where the denoising models are required to be J-invariant. However, our analyses indicate that the current theory and the J-invariance may lead to denoising models with reduced performance. In this work, we introduce Noise2Same, a novel self-supervised denoising framework. In Noise2Same, a new self-supervised loss is proposed by deriving a self-supervised upper bound of the typical supervised loss. In particular, Noise2Same requires neither J-invariance nor extra information about the noise model and can be used in a wider range of denoising applications. We analyze our proposed Noise2Same both theoretically and experimentally. The experimental results show that our Noise2Same remarkably outperforms previous self-supervised denoising methods in terms of denoising performance and training efficiency. Our code is available at https://github.com/divelab/Noise2Same.

研究动机与目标

• 激励并分析在使用单个带噪图像的自监督去噪方法中 J-invariance 的局限性。
• 提出一种新的自监督损失函数，放松对 J-invariance 和噪声模型的要求，同时利用完整输入信息。
• 在理论上通过自监督上的上界来界定有监督去噪损失，并进行实验验证。
• 在多样数据集上展示在无后处理情况下改进的去噪性能和训练效率。

提出的方法

• 推导一个在不依赖于假设 J-invariance 的前提下成立的有监督损失的自监督上界。
• 提出一个两项损失：对完整输入的重构均方误差（MSE）以及在掩蔽输入与全输入输出上计算的不变性代理项的平方根。
• 从图像中采样盲区 J 以计算不变性度量，但不要求网络严格具有 J-invariant。
• 用权重 lambda_inv（默认 2）来平衡项以控制不变性强度并适应噪声水平。
• 给出理论上的论证（定理 1 和 2）以及实证分析，将不变性强度与噪声强度联系起来。
• 与基于掩蔽的盲点方法和贝叶斯后处理进行比较，突出在不需要噪声模型知识的情况下的更广适用性。

实验结果

研究问题

• RQ1 是否可以推导出一种不需要 J-invariance 或已知噪声模型的自监督去噪损失？
• RQ2 引入经校准的不变性项是否在不同数据集上提升自监督去噪的性能和训练效率？
• RQ3 在未知、混合或未知噪声条件下，Noise2Same 相对于现有自监督方法的表现如何？
• RQ4 在无后处理的情况下，能够在多大程度上利用全输入信息来缩小与有监督去噪的差距？

主要发现

• Noise2Same 在 ImageNet、HanZi、Planaria 和 BSD68 数据集上的 PSNR 方面持续领先于先前的自监督去噪方法。
• 两项损失（全输入重构加不变性代理项）比纯粹的重构自监督表现更好。
• 可由 lambda_inv 调整的不变性项有助于适应噪声强度和数据集特征，与理论界限保持一致。
• 基于掩蔽的盲点方法在实际中并非严格的 J-invariant，严格的 J-invariance 并不总是对去噪性能最优。
• 在没有噪声模型后处理的情况下，Noise2Same 实现了与卷积盲点网络相当的训练效率。
• 在未知或混合噪声的数据集上，Noise2Same 比需要噪声模型信息的贝叶斯后处理方法具有更广的适用性。