[论文解读] W2S: A Joint Denoising and Super-Resolution Dataset

Ruofan Zhou, Majed El Helou+4 more|arXiv (Cornell University)|Mar 12, 2020

Advanced Image Processing Techniques参考文献 48被引用 6

一句话总结

本文提出了W2S，一个包含144,000张真实荧光显微镜图像的新数据集，用于联合去噪与超分辨率（JDSR），包含360组噪声低分辨率、无噪声低分辨率和高分辨率图像对。实验表明，将最先进的去噪网络与超分辨率网络串联使用效果不佳，因此本文提出一种轻量级、端到端联合训练的超分辨率网络，并引入一种新型纹理损失函数，其性能优于所有独立的去噪-超分辨率流水线。

ABSTRACT

Denoising and super-resolution (SR) are fundamental tasks in imaging. These two restoration tasks are well covered in the literature, however, only separately. Given a noisy low-resolution (LR) input image, it is yet unclear what the best approach would be in order to obtain a noise-free high-resolution (HR) image. In order to study joint denoising and super-resolution (JDSR), a dataset containing pairs of noisy LR images and the corresponding HR images is fundamental. We propose such a novel JDSR dataset, Wieldfield2SIM (W2S), acquired using microscopy equipment and techniques. W2S is comprised of 144,000 real fluorescence microscopy images, used to form a total of 360 sets of images. A set is comprised of noisy LR images with different noise levels, a noise-free LR image, and a corresponding high-quality HR image. W2S allows us to benchmark the combinations of 6 denoising methods and 6 SR methods. We show that state-of-the-art SR networks perform very poorly on noisy inputs, with a loss reaching 14dB relative to noise-free inputs. Our evaluation also shows that applying the best denoiser in terms of reconstruction error followed by the best SR method does not yield the best result. The best denoising PSNR can, for instance, come at the expense of a loss in high frequencies, which is detrimental for SR methods. We lastly demonstrate that a light-weight SR network with a novel texture loss, trained specifically for JDSR, outperforms any combination of state-of-the-art deep denoising and SR networks.

研究动机与目标

• 为解决当前缺乏能同时支持联合去噪与超分辨率（JDSR）图像恢复的真实世界数据集的问题。
• 研究现有最先进去噪网络与超分辨率网络在顺序处理噪声低分辨率输入时的性能局限。
• 评估在单独去噪后接超分辨率处理时，最优去噪方法是否能带来最佳整体结果。
• 开发并验证一种专为JDSR设计的轻量级深度学习模型，采用端到端训练方式，其性能优于串行处理流水线。
• 基于具有受控噪声水平和真实高分辨率图像的荧光显微镜真实数据，建立JDSR的基准测试标准。

提出的方法

• W2S数据集使用真实荧光显微镜成像系统构建，共采集144,000张图像，涵盖360个独立图像组。
• 每组包含一张无噪声低分辨率图像、多张具有不同噪声水平的噪声低分辨率图像，以及对应的高分辨率真实图像。
• 该数据集支持对6种去噪方法与6种超分辨率方法的所有可能组合进行基准测试。
• 采用一种新型纹理损失函数，对轻量级超分辨率网络进行端到端训练，以实现JDSR，该损失函数旨在保留对超分辨率至关重要的高频细节。
• 通过PSNR和结构相似性（SSIM）等标准指标，将所提联合模型的性能与串行处理流水线进行比较。
• 评估包含消融研究，以分析去噪精度与高频内容保留之间的权衡。

实验结果

研究问题

• RQ1 当将最先进超分辨率网络应用于噪声低分辨率输入时，其性能相较于无噪声输入的下降程度如何？
• RQ2 在重建误差方面表现最优的去噪方法，在后续超分辨率处理中，是否因损失了必要特征而影响效果？
• RQ3 能否通过端到端联合训练的深度学习模型实现去噪与超分辨率，其性能优于串行应用最先进去噪与SR网络的组合？
• RQ4 在去噪过程中保留高频内容对最终超分辨率质量有何影响？
• RQ5 新型纹理损失函数在联合去噪与超分辨率任务中如何提升性能？

主要发现

• 当将最先进超分辨率网络应用于噪声低分辨率输入时，其PSNR性能最高下降达14 dB，相较于无噪声输入。
• 即使在单独处理中表现最佳的去噪器，若后续接超分辨率网络，也未能带来最优整体结果，原因在于高频细节的损失。
• 采用新型纹理损失函数进行端到端联合训练的轻量级超分辨率网络，其性能优于所有独立去噪与超分辨率模型的组合。
• 在噪声输入上性能下降的主要原因是在去噪过程中抑制了高频分量，而这些分量对有效超分辨率至关重要。
• 所提出的联合训练方法通过保留纹理和边缘信息，显著提升了图像质量，而这些信息在串行处理流水线中常被丢失。
• W2S数据集通过受控噪声水平和高质量真实图像，实现了基于真实显微镜数据的JDSR方法的一致且可复现的基准测试。