[论文解读] Progressive Training of Multi-level Wavelet Residual Networks for Image Denoising

Yali Peng, Yue Cao+3 more|arXiv (Cornell University)|Oct 23, 2020

Image and Signal Denoising Methods参考文献 60被引用 9

一句话总结

本文提出了一种用于图像去噪的渐进式多级小波残差网络（PT-MWRN），在每个小波分解层级后集成残差块，并采用基于噪声和干净小波子带的尺度特定损失。该方法在合成与真实世界去噪基准上均实现了最先进性能，PSNR与SSIM指标表现优异，同时保持了计算效率。

ABSTRACT

Recent years have witnessed the great success of deep convolutional neural networks (CNNs) in image denoising. Albeit deeper network and larger model capacity generally benefit performance, it remains a challenging practical issue to train a very deep image denoising network. Using multilevel wavelet-CNN (MWCNN) as an example, we empirically find that the denoising performance cannot be significantly improved by either increasing wavelet decomposition levels or increasing convolution layers within each level. To cope with this issue, this paper presents a multi-level wavelet residual network (MWRN) architecture as well as a progressive training (PTMWRN) scheme to improve image denoising performance. In contrast to MWCNN, our MWRN introduces several residual blocks after each level of discrete wavelet transform (DWT) and before inverse discrete wavelet transform (IDWT). For easing the training difficulty, scale-specific loss is applied to each level of MWRN by requiring the intermediate output to approximate the corresponding wavelet subbands of ground-truth clean image. To ensure the effectiveness of scale-specific loss, we also take the wavelet subbands of noisy image as the input to each scale of the encoder. Furthermore, progressive training scheme is adopted for better learning of MWRN by beigining with training the lowest level of MWRN and progressively training the upper levels to bring more fine details to denoising results. Experiments on both synthetic and real-world noisy images show that our PT-MWRN performs favorably against the state-of-the-art denoising methods in terms both quantitative metrics and visual quality.

研究动机与目标

• 为解决尽管网络容量增加，仍难以训练极深图像去噪网络的挑战。
• 克服在增加深度或宽度时，更深的MWCNN变体出现性能饱和的问题。
• 提升多尺度小波基网络中的训练稳定性与特征学习能力。
• 开发一种高效、可扩展的架构，用于真实世界图像去噪。

提出的方法

• 提出一种多级小波残差网络（MWRN），在离散小波变换（DWT）之后、逆小波变换（IDWT）之前，用残差块替代MWCNN中的标准卷积层。
• 引入尺度特定损失函数，对每个小波尺度的中间输出进行监督，以逼近对应的干净小波子带。
• 将噪声图像的小波子带作为额外输入，送至每个编码器层级，并通过额外的卷积层与高层特征融合。
• 采用渐进式训练方案：从最低小波层级开始训练，逐步增加上层以优化细节恢复。
• 通过多尺度监督增强特征学习，并降低深层架构的训练难度。
• 结合端到端训练与尺度特定监督，提升收敛性与性能。

实验结果

研究问题

• RQ1 在多级小波框架中，更深的残差网络是否能超越标准MWCNN，进一步提升图像去噪性能？
• RQ2 基于干净与噪声图像小波子带的尺度特定损失，是否能提升训练稳定性与性能？
• RQ3 多尺度小波网络的渐进式训练是否能改善特征学习并避免性能退化？
• RQ4 所提方法在真实世界图像去噪基准上与最先进模型相比表现如何？
• RQ5 该架构是否能高效训练，并在合成与真实世界噪声类型间实现良好泛化？

主要发现

• 在DND基准上，PT-MWRN实现39.80 dB的PSNR，所有测试方法中排名第一。
• 在SIDD基准上，PT-MWRN实现39.80 dB的PSNR，位列顶级方法中第三，且未使用模型集成或基于GAN的数据增强。
• 该模型计算效率最高，单张256×256图像的推理时间仅为38.6 ms，优于DIDN与DHDN等更重的模型。
• 渐进式训练方案使深层网络能够稳定学习，避免了标准深度增加MWCNN变体中常见的性能下降。
• 结合噪声小波子带输入的尺度特定损失，显著优于标准监督，尤其在多尺度特征学习方面表现突出。
• 该方法在真实世界噪声上泛化能力出色，在具有挑战性的真实噪声数据集上，优于传统方法与基于深度学习的基线模型。