[论文解读] Self-Supervised Fast Adaptation for Denoising via Meta-Learning

Seunghwan Lee, Donghyeon Cho+2 more|arXiv (Cornell University)|Jan 9, 2020

Image and Signal Denoising Methods参考文献 31被引用 8

一句话总结

该论文提出了一种基于元学习的自监督微调方法，通过利用图像内部自相似性，在测试时增强预训练的监督去噪网络，实现无需架构修改的最先进性能。该方法采用噪声级别感知的元学习实现快速、自适应的参数更新，显著提升了在多种基准测试中的去噪质量。

ABSTRACT

Under certain statistical assumptions of noise, recent self-supervised approaches for denoising have been introduced to learn network parameters without true clean images, and these methods can restore an image by exploiting information available from the given input (i.e., internal statistics) at test time. However, self-supervised methods are not yet combined with conventional supervised denoising methods which train the denoising networks with a large number of external training samples. Thus, we propose a new denoising approach that can greatly outperform the state-of-the-art supervised denoising methods by adapting their network parameters to the given input through selfsupervision without changing the networks architectures. Moreover, we propose a meta-learning algorithm to enable quick adaptation of parameters to the specific input at test time. We demonstrate that the proposed method can be easily employed with state-of-the-art denoising networks without additional parameters, and achieve state-of-the-art performance on numerous benchmark datasets.

研究动机与目标

• 解决当测试噪声分布与训练数据不一致时，监督去噪网络中的领域偏移问题。
• 在不改变架构或增加额外参数的情况下，提升最先进监督去噪器的性能。
• 在推理过程中，通过自监督和元学习实现快速、自适应的参数微调。
• 利用图像内部自相似性（补丁重复性）来提升低光照或高ISO条件下的复原质量。

提出的方法

• 采用两阶段去噪框架：首先使用预训练的监督网络；其次在测试时通过基于图像内部统计特性的自监督损失进行微调。
• 通过类似 Noise2Self 的训练方式应用自监督，即网络从同一图像的噪声版本中预测补丁，从而利用自相似性。
• 采用元学习训练网络，使其在推理过程中能快速适应新输入图像，最小化适应步数。
• 适应过程采用可微分的、迭代的微调策略，结合噪声级别感知的损失函数，以保持图像结构。
• 该方法与网络架构无关，可应用于任何预训练去噪网络（例如 FFDNet、MemNet、DnCNN、RDN），而无需修改模型。
• 元学习器通过在训练期间模拟多样化的测试图像，学习快速适应策略，从而在推理中实现快速收敛。

实验结果

研究问题

• RQ1 在测试时进行自监督适应是否能显著提升预训练监督去噪网络的性能？
• RQ2 元学习在实现图像去噪中快速且准确的参数适应方面有多高效，尤其是在领域分布偏移的情况下？
• RQ3 在无外部干净数据的情况下，内部图像自相似性能在多大程度上提升去噪质量？
• RQ4 所提方法是否能在不修改架构的情况下，泛化到不同架构和基准数据集？
• RQ5 结合监督预训练与自监督测试时适应的方法，是否优于纯粹的监督或自监督基线方法？

主要发现

• 所提方法在多个基准数据集（包括 Set14、Set5 和 DIV80）上实现了最先进性能，相比现有方法在 PSNR 上最高提升 0.5 dB。
• MetaRIDNet、MetaRDN 和 MetaDnCNN 模型在 Set14 上的 PSNR 分别达到 36.20、36.13 和 36.05，采用 20 次适应步数进行盲去噪。
• 该方法在所有测试网络（如 FFDNet、MemNet、DnCNN、RDN）中均一致提升性能，无论其架构如何。
• 即使仅使用 5 次适应步数，该方法仍比完全预训练版本提升 0.1–0.3 dB，证明了其快速收敛能力。
• 该提升在不同噪声水平和图像内容下均具鲁棒性，证实了在推理过程中利用自相似性的有效性。
• 基于元学习的适应机制实现了计算开销极小的快速推理，适用于实时应用。