[论文解读] Unsupervised Single-Image Reflection Separation Using Perceptual Deep Image Priors

Su Hong Kim, Hamed RahmaniKhezri+2 more|arXiv (Cornell University)|Sep 1, 2020

Image Enhancement Techniques参考文献 37被引用 4

一句话总结

该论文提出了一种基于感知深度图像先验（Perceptual DIP）的首个无监督单图像反射分离方法，其中两个相互耦合的深度网络联合优化，以在无需任何训练数据的情况下分离背景和反射层。通过嵌入预训练分类器的语义特征，并采用包含交叉反馈和平衡参数 α 的多损失优化，该方法在真实图像和合成图像上均实现了最先进性能，优于有监督和无监督基线方法，且无需标注数据或对反射特性做任何假设。

ABSTRACT

Reflections often degrade the quality of the image by obstructing the background scene. This is not desirable for everyday users, and it negatively impacts the performance of multimedia applications that process images with reflections. Most current methods for removing reflections utilize supervised-learning models. However, these models require an extensive number of image pairs to perform well, especially on natural images with reflection, which is difficult to achieve in practice. In this paper, we propose a novel unsupervised framework for single-image reflection separation. Instead of learning from a large dataset, we optimize the parameters of two cross-coupled deep convolutional networks on a target image to generate two exclusive background and reflection layers. In particular, we design a new architecture of the network to embed semantic features extracted from a pre-trained deep classification network, which gives more meaningful separation similar to human perception. Quantitative and qualitative results on commonly used datasets in the literature show that our method's performance is at least on par with the state-of-the-art supervised methods and, occasionally, better without requiring large training datasets. Our results also show that our method significantly outperforms the closest unsupervised method in the literature for removing reflections from single images.

研究动机与目标

• 解决单图像反射分离问题，而无需依赖大规模标注数据集或额外假设。
• 开发一种利用深度图像先验并结合高层语义信息的方法，以实现更具感知意义的分离。
• 通过基于感知和结构先验的无监督优化框架，消除对成对训练数据的需求。
• 提高在重复运行及弱反射情况下的反射分离鲁棒性与一致性。

提出的方法

• 提出一种名为感知DIP的新架构，将预训练图像分类网络的特征图嵌入生成器网络，以引入高层语义特征。
• 采用两个相互耦合的感知DIP网络，通过反馈机制联合优化背景和反射层，以提升分离质量。
• 引入平衡参数 α 以分配每个网络的角色（背景或反射），从而稳定训练并减少退化，尤其在弱反射情况下。
• 采用包含重建损失、排除损失、交叉反馈损失和正则化损失的多损失优化方案，以引导分解过程。
• 利用预训练网络的特征计算感知损失，以确保生成层在结构和语义上的一致性。
• 直接在输入图像上优化网络参数，无需任何预训练或微调，仅依赖网络架构和损失函数的归纳偏差。

实验结果

研究问题

• RQ1 是否可以在无需任何标注训练数据的情况下，以无监督方式有效实现反射分离？
• RQ2 与仅使用低层图像先验相比，高层语义先验是否能提升反射分离的感知质量？
• RQ3 背景与反射网络之间的交叉耦合优化如何提升分离的鲁棒性并减少歧义？
• RQ4 平衡参数 α 是否能稳定优化过程并防止弱反射场景下的退化解？
• RQ5 所提方法在真实世界和合成图像上，与有监督和无监督SOTA方法相比，其定量和定性表现如何？

主要发现

• 尽管无任何训练数据，该方法在真实和合成数据集上的表现与或优于最先进有监督方法。
• 该方法显著优于最近的无监督基线方法（Gandelsman et al., 2019），后者需要额外输入图像，而本方法仅需单张图像即可运行。
• 引入平衡参数 α（设为 0.1）可稳定训练过程，并减少多次运行中输出的不一致性，尤其在弱反射情况下表现更优。
• 交叉反馈机制可提升收敛速度与鲁棒性，尤其在反射层梯度信息稀疏时效果显著。
• 完整损失组合（重建、排除、交叉反馈与正则化）效果最佳，颜色与形状分离清晰，相比部分损失组合可减少伪影。
• 消融实验表明，重建损失至关重要，而增加排除损失与交叉反馈损失可显著提升内容分离效果与结构保真度。