[论文解读] Noise2Sim - Similarity-based Self-Learning for Image Denoising.

Chuang Niu, Ge Wang|arXiv (Cornell University)|Nov 6, 2020

Image and Signal Denoising Methods参考文献 26被引用 10

一句话总结

Noise2Sim 是一种自监督图像去噪方法，利用图像的自相似性在无需成对干净-噪声数据的情况下学习去噪，其灵感源自非局部均值（NLM），但通过基于相似性的自学习框架进行训练。该方法通过利用逐块对称性实现自一致性去噪，在基准数据集上的表现优于 Noise2Noise 和 Noise2Void。

ABSTRACT

The key idea behind denoising methods is to perform a mean/averaging operation, either locally or non-locally. An observation on classic denoising methods is that non-local mean (NLM) outcomes are typically superior to locally denoised results. Despite achieving the best performance in image denoising, the supervised deep denoising methods require paired noise-clean data which are often unavailable. To address this challenge, Noise2Noise methods are based on the fact that paired noise-clean images can be replaced by paired noise-noise images which are easier to collect. However, in many scenarios the collection of paired noise-noise images are still impractical. To bypass labeled images, Noise2Void methods predict masked pixels from their surroundings in a single noisy image only. It is pitiful that neither Noise2Noise nor Noise2Void methods utilize self-similarities in an image as NLM methods do, while self-similarities/symmetries play a critical role in modern sciences. Here we propose Noise2Sim, an NLM-inspired self-learning method for image denoising. Specifically, Noise2Sim leverages self-similarities of image patches and learns to map between the center pixels of similar patches for self-consistent image denoising. Our statistical analysis shows that Noise2Sim tends to be equivalent to Noise2Noise under mild conditions. To accelerate the process of finding similar image patches, we design an efficient two-step procedure to provide data for Noise2Sim training, which can be iteratively conducted if needed. Extensive experiments demonstrate the superiority of Noise2Sim over Noise2Noise and Noise2Void on common benchmark datasets.

研究动机与目标

• 解决监督式深度去噪方法依赖成对噪声-干净图像数据的局限性，此类数据往往难以获取。
• 克服在现实场景中收集成对噪声-噪声图像的不切实际性。
• 利用自然图像中固有的自相似性，实现无需任何标注数据的自监督去噪。
• 通过引入受 NLM 启发的块相似性学习，改进现有自监督方法（如 Noise2Noise 和 Noise2Void）。
• 开发一种高效的训练流程，以加速模型训练期间图像块的相似性搜索。

提出的方法

• 提出一种自学习框架，通过同一幅图像中相似的图像块，将噪声图像块的中心像素映射为其去噪版本。
• 采用两步法高效识别相似图像块：首先通过快速嵌入近似相似性；其次通过更精确的相似性度量进行精炼。
• 训练神经网络，基于相似块的周围像素预测去噪后的中心像素，以强制实现自一致性。
• 将学习目标表述为最小化相似块邻域内预测中心像素与实际中心像素之间的重建误差。
• 通过多轮迭代不断优化模型和相似性搜索过程，以提升去噪性能。
• 通过仅依赖单张噪声图像，确保方法保持自监督特性，完全避免对干净图像或成对数据的需求。

实验结果

研究问题

• RQ1 能否有效利用单张噪声图像中的自相似性，在无需任何成对数据的情况下训练去噪模型？
• RQ2 基于块自相似性的自监督去噪方法在性能上与 Noise2Noise 和 Noise2Void 相比如何？
• RQ3 在何种条件下，所提出的 Noise2Sim 方法在统计上等价于 Noise2Noise？
• RQ4 高效的两步相似性搜索流程是否能显著加速训练，同时保持高去噪精度？
• RQ5 对相似性搜索和模型预测进行迭代精炼，是否能显著提升整体去噪性能？

主要发现

• Noise2Sim 在标准基准数据集上的去噪性能优于 Noise2Noise 和 Noise2Void，展现出自监督图像去噪的最先进水平。
• 在温和条件下，该方法在统计上等价于 Noise2Noise，验证了其理论基础的合理性。
• 两步相似性搜索流程通过降低计算开销，实现了高效的训练，同时保持了高精度。
• 对模型和相似性匹配的迭代精炼显著提升了去噪质量，表明反馈机制在自监督学习中的优势。
• 利用自相似块使模型能够学习到鲁棒且上下文感知的去噪模式，而无需依赖外部标注数据。
• 大量实验表明，Noise2Sim 有效利用了图像对称性，即使在低信噪比条件下也能生成高质量的去噪输出。