[论文解读] Zero-Shot Noise2Noise: Efficient Image Denoising without any Data

Youssef Mansour, Reinhard Heckel|arXiv (Cornell University)|Mar 20, 2023

Photoacoustic and Ultrasonic Imaging被引用 8

一句话总结

ZS-N2N 通过从单个嘈杂图像的两次下采样视图中学习一个小的两层网络，在不需要训练数据或噪声模型的情况下实现去噪，达到具有竞争力的降噪效果且计算资源消耗低。

ABSTRACT

Recently, self-supervised neural networks have shown excellent image denoising performance. However, current dataset free methods are either computationally expensive, require a noise model, or have inadequate image quality. In this work we show that a simple 2-layer network, without any training data or knowledge of the noise distribution, can enable high-quality image denoising at low computational cost. Our approach is motivated by Noise2Noise and Neighbor2Neighbor and works well for denoising pixel-wise independent noise. Our experiments on artificial, real-world camera, and microscope noise show that our method termed ZS-N2N (Zero Shot Noise2Noise) often outperforms existing dataset-free methods at a reduced cost, making it suitable for use cases with scarce data availability and limited computational resources. A demo of our implementation including our code and hyperparameters can be found in the following colab notebook: https://colab.research.google.com/drive/1i82nyizTdszyHkaHBuKPbWnTzao8HF9b

研究动机与目标

• 推动数据集自由的降噪，能够跨噪声类型和水平实现泛化。
• 开发一个极小、计算高效的降噪模型，适合数据稀缺和 CPU 部署场景。
• 利用 Noise2Noise 与 Neighbour2Neighbour 的理念，实现从单个嘈杂图像的训练。
• 在降噪质量、泛化能力与计算资源之间取得有利的权衡。

提出的方法

• 从嘈杂图像 y 中使用不重叠的 2x2 像素块和固定卷积核，创建两个固定下采样视图 D1(y) 和 D2(y)。
• 训练一个极小的两层图像到图像网络，将 D1(y) 映射到 D2(y)，采用残差学习损失。
• 使用残差损失，鼓励学习噪声分量而非干净信号。
• 引入对称损失和一致性损失以正则化训练并防止过拟合。
• 通过对原始嘈杂图像应用学习到的网络来估计干净图像，记为 x̂ = y − f̂θ(y)。
• 收敛通常需要 1k–2k 梯度步，对 CPU 附加降噪友好。

Figure 1 : Left and middle plots: PSNR scores for Gaussian and Poission denoising for different noise levels. Note BM3D’s poor performance on Poisson compared to Gaussian noise. Right plot: Time required in seconds to denoise one $256\times 256$ colour image on CPU and GPU, tested on Poisson noise w

实验结果

研究问题

• RQ1 一个数据集自由、无噪声模型的降噪方法是否能在高斯、泊松和真实世界噪声下达到有竞争力的 PSNR？
• RQ2 一个极小的网络配合适当的损失是否能很好地泛化到未见的噪声水平和分布？
• RQ3 零-shot 降噪在质量、速度和内存方面相比现有的零-shot 与基于数据集的方法有何区别？
• RQ4 哪些正则化策略（残差、对称和一致性损失）对防止过拟合和提升性能至关重要？

主要发现

• ZS-N2N 在无需训练数据或噪声模型的情况下，对高斯、泊松以及真实世界相机和显微镜噪声实现了具有竞争力的 PSNR。
• 大约 2 万参数的两层网络即可超越更“大”但计算和内存要求更高的学习模型。
• 残差学习、对称损失和一致性损失对良好性能和避免过拟合至关重要。
• 与基于集成的零-shot 方法相比，ZS-N2N 在 CPU/GPU 上更快，且占用的参数数量比典型降噪网络少数量级。
• 在真实相机和显微镜数据集上，ZS-N2N 常能达到或超过 DIP、NB2NB 等基线，同时保持无需集合推理和兼容 CPU 的特性。

Figure 2 : The Image Pair Downsampler decomposes an image into two images of half the spatial resolution by averaging diagonal pixels of $2\times 2$ non-overlapping patches. In the above example the input is a $4\times 4$ image, and the output is two $2\times 2$ images.