[论文解读] When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach

Ding Liu, Bihan Wen+3 more|arXiv (Cornell University)|Jun 14, 2017

Image and Signal Denoising Methods参考文献 33被引用 25

一句话总结

本文提出一种联合深度学习框架，通过级联去噪网络与高层视觉网络，并使用联合损失函数进行端到端训练，实现图像去噪与高层视觉任务（如分类和语义分割）的同时优化。该方法通过引入语义反馈，提升了去噪质量与下游任务的准确率，且训练好的去噪器无需微调即可泛化至不同高层任务。

ABSTRACT

Conventionally, image denoising and high-level vision tasks are handled separately in computer vision. In this paper, we cope with the two jointly and explore the mutual influence between them. First we propose a convolutional neural network for image denoising which achieves the state-of-the-art performance. Second we propose a deep neural network solution that cascades two modules for image denoising and various high-level tasks, respectively, and use the joint loss for updating only the denoising network via back-propagation. We demonstrate that on one hand, the proposed denoiser has the generality to overcome the performance degradation of different high-level vision tasks. On the other hand, with the guidance of high-level vision information, the denoising network can generate more visually appealing results. To the best of our knowledge, this is the first work investigating the benefit of exploiting image semantics simultaneously for image denoising and high-level vision tasks via deep learning. The code is available online https://github.com/Ding-Liu/DeepDenoising.

研究动机与目标

• 通过探索低层次去噪与高层视觉任务之间的相互影响，弥合两者之间的差距。
• 解决传统流水线将去噪与高层任务视为独立阶段所导致的性能下降问题。
• 开发一种无需任务特定微调即可在多个高层视觉任务中泛化的去噪器。
• 通过在去噪过程中引入高层语义反馈，提升视觉质量与语义准确性。
• 证明联合训练可超越独立或顺序处理方式，在去噪性能与高层任务准确率方面均实现提升。

提出的方法

• 提出一种类似U-Net的卷积神经网络用于图像去噪，利用跳跃连接保留输入细节。
• 设计级联架构，将去噪网络与高层视觉网络（如分类或分割网络）连接。
• 采用联合损失函数，结合图像重建损失（MSE）与高层任务损失（如分类任务的交叉熵或分割任务的IoU）。
• 仅通过去噪网络反向传播联合损失，训练期间保持高层网络权重固定。
• 利用高层任务的语义指导训练去噪网络，生成更具视觉合理性与语义一致性的输出。
• 通过将去噪器迁移至不同高层任务（如在分割上训练，在分类上测试）验证其泛化能力。

实验结果

研究问题

• RQ1 高层语义信息能否提升图像去噪结果的视觉质量与感知保真度？
• RQ2 去噪与高层视觉任务的联合训练是否能带来优于顺序或独立处理的性能提升？
• RQ3 在某一高层任务上联合训练的去噪器是否可有效复用于其他高层任务而无需微调？
• RQ4 联合训练策略在多大程度上缓解了传统去噪器（如CBM3D）在下游视觉任务中引入的伪影？
• RQ5 当应用于含噪输入时，语义反馈在多大程度上增强了高层视觉模型的鲁棒性与准确性？

主要发现

• 所提出的联合训练框架在图像去噪任务中达到当前最优性能，优于经典方法（如CBM3D）及独立训练的深度去噪器。
• 在ImageNet验证集上，联合训练方法在σ=60时达到87.2%的top-1准确率，显著优于基线VGG（11.4%）与Separate+VGG（50.1%）。
• 在Pascal VOC 2012语义分割任务上，联合训练方法在σ=60时达到52.02%的mIoU，超过独立去噪基线（46.59%），且在不同噪声水平下表现稳健。
• 在某一高层任务上联合训练的去噪器可有效泛化至其他任务：当从分割任务迁移至分类任务时，达到62.0%的top-1准确率（对比Separate+VGG的57.0%），展现出强大的可迁移性。
• 视觉对比显示，与CBM3D及独立训练的去噪器相比，该方法减少了过度平滑伪影，生成的去噪结果更具语义准确性与视觉吸引力。
• 消融实验验证，语义反馈显著提升了去噪质量与下游任务准确率，证实了联合学习范式的有效性。