[论文解读] On the Relation between Color Image Denoising and Classification

Jiqing Wu, Radu Timofte+2 more|arXiv (Cornell University)|Apr 5, 2017

Image and Signal Denoising Methods参考文献 27被引用 12

一句话总结

本文提出了一种新颖的深度学习架构，用于彩色图像去噪，通过利用预训练分类网络（AlexNet/VGG-16）的特征来提升去噪性能。通过在包含超过1,000张图像的ImageNet大规模数据集上进行训练，并引入语义类别信息，该方法在SOTA方法上实现了0.34–0.51 dB的平均PSNR增益，表明分类模型可增强去噪效果，且在非线性模型中，噪声有时可提升分类准确率。

ABSTRACT

Large amount of image denoising literature focuses on single channel images and often experimentally validates the proposed methods on tens of images at most. In this paper, we investigate the interaction between denoising and classification on large scale dataset. Inspired by classification models, we propose a novel deep learning architecture for color (multichannel) image denoising and report on thousands of images from ImageNet dataset as well as commonly used imagery. We study the importance of (sufficient) training data, how semantic class information can be traded for improved denoising results. As a result, our method greatly improves PSNR performance by 0.34 - 0.51 dB on average over state-of-the art methods on large scale dataset. We conclude that it is beneficial to incorporate in classification models. On the other hand, we also study how noise affect classification performance. In the end, we come to a number of interesting conclusions, some being counter-intuitive.

研究动机与目标

• 探究大规模数据集上图像去噪与图像分类之间的相互作用。
• 开发一种基于深度学习的彩色图像去噪方法，利用分类模型中的语义信息。
• 评估噪声对分类性能的影响，并检验去噪是否能提升分类准确率。
• 探索分类模型是否可直接用于图像去噪，以及其有效性如何。

提出的方法

• 提出一种3D残差（3DR）学习阶段，结合预训练分类网络（AlexNet或VGG-16），实现端到端的彩色图像去噪。
• 采用多尺度、多通道特征学习方法，将彩色图像视为3D张量（H×W×3），实现RGB通道的联合处理。
• 使用重建损失（L2）与来自预训练网络高层的分类损失相结合的方式训练去噪模型。
• 引入分类头中的语义类别信息以指导去噪，提升特征表示与重建保真度。
• 采用来自ImageNet的超过1,000张多样化图像的大规模数据集进行训练与评估，显著超越典型的小规模基准。
• 通过PSNR和在噪声图像、去噪图像与干净图像上的分类准确率来评估去噪性能，以衡量对下游任务的影响。

实验结果

研究问题

• RQ1 预训练的图像分类模型能否提升基于深度学习的彩色图像去噪性能？
• RQ2 训练数据规模如何影响去噪性能？大规模数据是否能提升泛化能力？
• RQ3 来自分类网络的语义类别信息在多大程度上能增强去噪结果？
• RQ4 去噪是否能提升噪声图像上的分类准确率？若能，提升幅度如何？
• RQ5 能否直接使用分类模型对图像进行去噪？其性能与专用去噪方法相比如何？

主要发现

• 所提出的3DR+VGG-16与3DR+AlexNet模型在ImageNet数据集上相较SOTA方法实现了0.34–0.51 dB的平均PSNR增益。
• 去噪显著提升了分类准确率：当σ=25时，该方法相比噪声基线分别提升了7.3%（AlexNet）和6.9%（VGG-16）。
• 当σ=50时，提升幅度达到22.4%（AlexNet）和10.7%（VGG-16），证实去噪可增强下游任务的鲁棒性。
• 令人惊讶的是，在1.4–3.5%的情况下，分类模型仅在图像带噪声时能正确识别，表明噪声有时可提升模型置信度与性能。
• 直接使用分类模型进行去噪（通过softmax损失）表现较差——在σ=50时，AlexNet的准确率仅达11.4%，表明使用回归损失的监督去噪更有效。