[论文解读] Single Image Reflection Separation with Perceptual Losses

Xuaner Zhang, Ren Ng+1 more|arXiv (Cornell University)|Jun 14, 2018

Image Enhancement Techniques参考文献 23被引用 14

一句话总结

本文提出一种基于感知损失的深度学习方法，用于单图像反射分离，采用全卷积网络并结合感知损失进行训练——具体包括来自预训练感知网络的特征损失（如VGG）和对抗损失，并引入一种新颖的排除损失以强制实现像素级的层间独立性。该方法在合成数据和真实世界数据上均优于当前最先进方法，在PSNR、SSIM和用户评估中表现更优，并且无需微调即可泛化至耀斑去除和去雾任务。

ABSTRACT

We present an approach to separating reflection from a single image. The approach uses a fully convolutional network trained end-to-end with losses that exploit low-level and high-level image information. Our loss function includes two perceptual losses: a feature loss from a visual perception network, and an adversarial loss that encodes characteristics of images in the transmission layers. We also propose a novel exclusion loss that enforces pixel-level layer separation. We create a dataset of real-world images with reflection and corresponding ground-truth transmission layers for quantitative evaluation and model training. We validate our method through comprehensive quantitative experiments and show that our approach outperforms state-of-the-art reflection removal methods in PSNR, SSIM, and perceptual user study. We also extend our method to two other image enhancement tasks to demonstrate the generality of our approach.

研究动机与目标

• 为解决单图像反射分离这一病态问题，该问题在缺乏先验约束时难以获得唯一解。
• 通过结合低层次和高层次图像统计特性，利用感知监督提升反射去除效果。
• 提出一种新颖的排除损失，以在梯度域中强制实现透射层与反射层之间的独立性。
• 构建一个包含真实世界图像中真实透射层标注的基准数据集，用于定量评估与模型训练。
• 证明该方法可泛化至其他层分离任务，如耀斑去除与去雾。

提出的方法

• 端到端训练一个全卷积网络，从单张输入图像中预测反射层与透射层。
• 利用预训练感知网络（如VGG）的激活图计算特征损失，以监督高层语义一致性。
• 采用判别器网络实现对抗损失，以提升透射层的逼真度与自然性。
• 引入排除损失，通过最小化透射层与反射层之间的梯度相关性，强制实现像素级分离。
• 使用联合损失函数进行模型训练：$ \mathcal{L} = \lambda_1 L_{\text{feat}} + \lambda_2 L_{\text{adv}} + \lambda_3 L_{\text{excl}} + \lambda_4 L_1 $。
• 利用新收集的真实世界数据集进行训练与评估，该数据集包含1,000对图像及其真实透射层标注。

实验结果

研究问题

• RQ1 多层级感知损失（特征损失与对抗损失）是否能超越仅使用低层级损失的反射分离性能？
• RQ2 一种强制层间在梯度域中独立性的新颖排除损失，是否能提升像素级分离质量？
• RQ3 与当前最先进方法相比，该方法在真实世界图像上的定量与主观表现如何？
• RQ4 在反射分离任务上训练的模型，是否可泛化至其他层分离任务（如耀斑去除与去雾）？
• RQ5 引入高层语义信息（如物体识别）在模糊或复杂场景中，是否能显著提升反射去除效果？

主要发现

• 在真实世界测试图像上，该方法达到PSNR 21.30与SSIM 0.821，优于以往SOTA方法。
• 在合成数据上，模型达到PSNR 22.63与SSIM 0.853，表现出强大的泛化能力。
• 消融实验表明，若移除任意一种主要损失（特征、对抗、排除），性能均显著下降，尤其在细节与色彩保真度方面。
• 排除损失有效减少了透射层中的残余反射，这对实现清晰分离至关重要。
• 对抗损失提升了感知质量，减少了无该损失模型中常见的伪影与色彩退化。
• 该模型无需微调即可良好泛化至耀斑去除与去雾任务，生成视觉上合理的输出，如图7所示。