[论文解读] N2V2 -- Fixing Noise2Void Checkerboard Artifacts with Modified Sampling Strategies and a Tweaked Network Architecture

Eva Höck, Tim-Oliver Buchholz+3 more|arXiv (Cornell University)|Nov 15, 2022

Cell Image Analysis Techniques被引用 5

一句话总结

N2V2 通过用 BlurPool 替代 MaxPool、移除残差连接和顶层跳跃连接，并引入新的盲区像素替换策略（均值/中位数），改进了 Noise2Void（N2V）去噪方法。这些改动显著减少了棋盘状伪影，在无需额外训练数据或计算成本的情况下，实现了多个显微镜和自然图像数据集上的最先进自监督去噪性能。

ABSTRACT

In recent years, neural network based image denoising approaches have revolutionized the analysis of biomedical microscopy data. Self-supervised methods, such as Noise2Void (N2V), are applicable to virtually all noisy datasets, even without dedicated training data being available. Arguably, this facilitated the fast and widespread adoption of N2V throughout the life sciences. Unfortunately, the blind-spot training underlying N2V can lead to rather visible checkerboard artifacts, thereby reducing the quality of final predictions considerably. In this work, we present two modifications to the vanilla N2V setup that both help to reduce the unwanted artifacts considerably. Firstly, we propose a modified network architecture, i.e., using BlurPool instead of MaxPool layers throughout the used U-Net, rolling back the residual U-Net to a non-residual U-Net, and eliminating the skip connections at the uppermost U-Net level. Additionally, we propose new replacement strategies to determine the pixel intensity values that fill in the elected blind-spot pixels. We validate our modifications on a range of microscopy and natural image data. Based on added synthetic noise from multiple noise types and at varying amplitudes, we show that both proposed modifications push the current state-of-the-art for fully self-supervised image denoising.

研究动机与目标

• 解决 Noise2Void（N2V）在生物医学成像中广泛应用的自监督去噪方法中长期存在的棋盘状伪影问题。
• 探究这些伪影的根本原因，特别是 MaxPool 层、残差连接和盲区像素替换策略的作用。
• 通过修改 U-Net 架构并引入新的掩码像素替换策略，提升去噪质量。
• 提出一个新的、更真实的基准数据集（Convallaria_1），并提供合理的训练/验证/测试划分，以支持未来自监督去噪方法的公平评估。
• 证明更长的训练周期能显著提升性能，提醒用户在停止训练前确保模型已收敛。

提出的方法

• 将 U-Net 中的 MaxPool 层替换为 BlurPool 层，通过平滑空间下采样减少棋盘状伪影。
• 移除 U-Net 中的残差连接和顶层跳跃连接，以降低来自噪声残差输入的偏差，改善特征学习。
• 引入两种新的盲区像素替换策略：在训练过程中对掩码中心像素进行均值和中位数替换。
• 采用改进的训练协议，延长训练时间以确保收敛，这对自监督方法尤其关键。
• 在包括 BSD68、Mouse、Flywing 和新提出的 Convallaria_1 数据集在内的多样化数据集上验证方法性能，采用更真实的划分设置。
• 使用 PSNR 与真实值对比评估性能，分别分析架构和采样策略改进的独立与综合影响。

实验结果

研究问题

• RQ1 为什么 Noise2Void 中会出现棋盘状伪影？MaxPool 层和残差连接在其中起到了什么作用？
• RQ2 用 BlurPool 替代 MaxPool 并移除残差连接，是否能在不降低去噪性能的前提下减少棋盘状伪影？
• RQ3 不同的盲区像素替换策略（均值 vs. 中位数）对自监督 N2V 训练中去噪输出质量有何影响？
• RQ4 在强椒盐噪声条件下，N2V 的性能是否会下降？如果是，原因是什么？
• RQ5 通过使用单张噪声输入图像而非 99 张的修订版 Convallaria 数据集，能否提升自监督去噪方法基准测试的真实性和公平性？

主要发现

• BlurPool 的引入、残差连接和顶层跳跃连接的移除，与原始 N2V 相比，显著减少了棋盘状伪影。
• 在定性评估中，盲区像素的均值替换策略始终优于中位数替换策略，尽管定量结果呈现混合趋势。
• 当使用原始替换策略（uwCP）时，N2V 在椒盐噪声条件下无法有效去除盐粒，因为网络因高对比度和低掩码概率而学会保留这些像素。
• 移除残差连接通过降低来自噪声残差输入的偏差，提升了性能，尤其在高噪声环境下效果更明显。
• 更长的训练周期能实现更好的收敛和性能提升，表明文献中以往的训练周期通常过短。
• 新提出的 Convallaria_1 数据集（使用单张噪声输入图像而非 99 张）提供了更真实、更公平的基准，应被社区采纳用于自监督去噪方法的评估。