[论文解读] Segmentation-Aware Image Denoising without Knowing True Segmentation

Sicheng Wang, Bihan Wen+3 more|arXiv (Cornell University)|May 22, 2019

Image and Signal Denoising Methods参考文献 52被引用 15

一句话总结

该论文提出U-SAID，一种新型无监督分割感知图像去噪模型，可在训练过程中无需真实分割图的情况下，提升下游语义分割任务的去噪质量和鲁棒性。通过引入一种像素级不确定性损失，该损失鼓励特征学习具有区分性，U-SAID在性能上可与监督方法相媲美，同时在未见图像、数据集和高层视觉任务中表现出良好的泛化能力。

ABSTRACT

Several recent works discussed application-driven image restoration neural networks, which are capable of not only removing noise in images but also preserving their semantic-aware details, making them suitable for various high-level computer vision tasks as the pre-processing step. However, such approaches require extra annotations for their high-level vision tasks, in order to train the joint pipeline using hybrid losses. The availability of those annotations is yet often limited to a few image sets, potentially restricting the general applicability of these methods to denoising more unseen and unannotated images. Motivated by that, we propose a segmentation-aware image denoising model dubbed U-SAID, based on a novel unsupervised approach with a pixel-wise uncertainty loss. U-SAID does not need any ground-truth segmentation map, and thus can be applied to any image dataset. It generates denoised images with comparable or even better quality, and the denoised results show stronger robustness for subsequent semantic segmentation tasks, when compared to either its supervised counterpart or classical "application-agnostic" denoisers. Moreover, we demonstrate the superior generalizability of U-SAID in three-folds, by plugging its "universal" denoiser without fine-tuning: (1) denoising unseen types of images; (2) denoising as pre-processing for segmenting unseen noisy images; and (3) denoising for unseen high-level tasks. Extensive experiments demonstrate the effectiveness, robustness and generalizability of the proposed U-SAID over various popular image sets.

研究动机与目标

• 解决现有应用驱动型去噪器在训练过程中需要昂贵的真实分割标注的局限性。
• 开发一种可泛化至未见图像类型、数据集和高层视觉任务的通用去噪器，且无需微调。
• 在不依赖监督语义监督的前提下，提升去噪鲁棒性与语义细节保留能力。
• 实现去噪器在多样化高层视觉流水线中的即插即用集成，且仅需极少微调。

提出的方法

• 提出一种基于去噪特征空间中像素级不确定性的新型无监督损失，以隐式方式促进分割感知能力。
• 仅使用噪声图像进行去噪器训练，无需分割标注，通过不确定性最小化实现自监督。
• 将不确定性损失与标准去噪目标（如L2损失）结合，联合优化图像保真度与语义可分性。
• 使用预训练的语义分割头从去噪输出中提取特征，进而用于计算不确定性损失。
• 采用双分支网络架构，使去噪器与不确定性损失端到端联合训练，实现联合优化。
• 将训练好的U-SAID模型作为即插即用的预处理器应用于下游任务，无需进一步微调。

实验结果

研究问题

• RQ1 是否可以在不依赖任何真实分割标注的情况下训练出分割感知去噪器？
• RQ2 所提出的无监督不确定性损失是否能在缺乏监督的情况下有效促进语义感知特征学习？
• RQ3 与监督方法或应用无关基线相比，U-SAID在未见图像领域、数据集和高层视觉任务中的泛化能力如何？
• RQ4 U-SAID是否能在保持鲁棒性与通用性的同时，实现与监督方法相当的性能？

主要发现

• 在PASCAL VOC分割任务上，U-SAID的平均mIoU达到40.35%，显著优于CDnCNN-B（p值 = 1.7305×10⁻⁹），且与监督方法S-SAID相当。
• 在KODAK数据集上，U-SAID的NIQE为2.62，显著优于CDnCNN-B（p值 = 2.6638×10⁻¹⁶）。
• 在CIFAR-100分类任务中，U-SAID的top-1准确率达到58.47%，显著优于CDnCNN-B（56.89%，p值 = 3.6147×10⁻¹⁴）和S-SAID（57.82%，p值 = 1.3486×10⁻⁶）。
• 在MS COCO目标检测任务中，U-SAID在σ=35时将mAP提升了0.5330，优于CDnCNN-B和S-SAID，表明其在未见检测任务中具有强大泛化能力。
• U-SAID在三种测试场景下表现出卓越的泛化能力：未见图像类型、未见噪声数据集和未见高层任务，且无需微调。
• 统计显著性检验确认，U-SAID在多个基准和噪声模式下的性能提升具有一致性与实际意义。