[论文解读] Noise2Fast: Fast Self-Supervised Single Image Blind Denoising

Jason Lequyer, Reuben Philip+2 more|arXiv (Cornell University)|Aug 23, 2021

Image and Signal Denoising Methods参考文献 26被引用 7

一句话总结

Noise2Fast 是一种快速、自监督的单图像盲去噪方法，采用一种新颖的“棋盘下采样”技术，从单张输入图像生成四张图像的训练集，从而高效训练轻量级神经网络。其推理速度达到当前最先进水平——显著快于所有先前方法——同时保持了与最慢但最准确的方法 Self2Self 相当的去噪精度，而后者速度超过 100 倍慢于 Noise2Fast。

ABSTRACT

In the last several years deep learning based approaches have come to dominate many areas of computer vision, and image denoising is no exception. Neural networks can learn by example to map noisy images to clean images. However, access to noisy/clean or even noisy/noisy image pairs isn't always readily available in the desired domain. Recent approaches have allowed for the denoising of single noisy images without access to any training data aside from that very image. But since they require both training and inference to be carried out on each individual input image, these methods require significant computation time. As such, they are difficult to integrate into automated microscopy pipelines where denoising large datasets is essential but needs to be carried out in a timely manner. Here we present Noise2Fast, a fast single image blind denoiser. Our method is tailored for speed by training on a four-image dataset produced using a unique form of downsampling we refer to as "checkerboard downsampling". Noise2Fast is faster than all tested approaches and is more accurate than all except Self2Self, which takes well over 100 times longer to denoise an image. This allows for a combination of speed and flexibility that was not previously attainable using any other method.

研究动机与目标

• 解决现有单图像盲去噪方法在每张图像上训练耗时过长的计算效率低下问题。
• 开发一种无需干净图像对或外部预训练的自监督去噪框架。
• 实现在高吞吐量显微成像流水线中实时去噪，其中速度与精度均至关重要。
• 在不牺牲去噪性能的前提下优化模型推理速度，尤其适用于活细胞成像和大规模成像应用。

提出的方法

• 该方法使用一种独特的“棋盘下采样”技术，将单张输入图像分割为四个非重叠、空间交错的子图像，形成离散的训练集。
• 训练一个小型前馈神经网络，从这四个下采样视图中预测原始图像，利用子图像之间的结构一致性。
• 训练过程为自监督：网络学习从噪声部分视图中重建完整图像，从而隐式学习抑制噪声。
• 通过将原始全分辨率图像作为目标来验证收敛性，确保模型学习到有意义的信号重建。
• 该方法受 Neighbor2Neighbor 启发，但通过采用离散、低维的训练表示，针对速度和单图像使用进行了优化。
• 该方法避免显式建模噪声，而是通过利用棋盘子图像之间的空间冗余性和信号一致性来学习去噪。

实验结果

研究问题

• RQ1 是否可以仅基于单张图像、无需干净数据或外部预训练，高效训练出自监督去噪模型？
• RQ2 与传统下采样或基于图像块的方法相比，棋盘下采样是否能实现更快、更有效的轻量级网络在单图像去噪中的训练？
• RQ3 在速度和精度方面，基于离散四图像集训练的模型与现有最先进盲去噪器相比，其推理速度如何？
• RQ4 在该自监督设置下，网络架构选择（如前馈网络与 U-Net）对性能和速度的影响有多大？
• RQ5 该模型能否在高分辨率显微图像上实现高去噪精度，同时保持亚秒级的推理时间？

主要发现

• Noise2Fast 在所有测试方法中实现了最快的推理速度，显著优于甚至次快的方案。
• 其去噪性能与测试中最为准确的方法 Self2Self 相当，而后者每张图像的处理时间超过 100 倍慢于 Noise2Fast。
• 在 BSD68 数据集上 σ=25 时，Noise2Fast 的 PSNR 达到 28.12，优于除 Self2Self 外的所有方法。
• 消融实验表明，棋盘下采样对性能至关重要，若替换为传统的 2×2 块下采样，平均 PSNR 下降 0.56 dB。
• 将前馈网络替换为 U-Net 架构导致性能下降 0.36–0.40 dB，表明原始架构更适用于此任务。
• 项 s_odd - s_even（用于表征奇偶像素集之间的信号差异）对性能影响可忽略，证实该方法的成功源于棋盘结构本身，而非此项校正。