[论文解读] Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance

Yu Li, Ming Liu+4 more|arXiv (Cornell University)|Dec 2, 2020

Image Enhancement Techniques被引用 5

一句话总结

该论文提出RAGNet，一种用于单图像去反射的两阶段深度学习框架，首先估计反射层，然后通过反射感知引导（RAG）模块改进透射估计。RAG模块通过特征差异抑制反射，并利用部分卷积生成自适应掩码，以处理线性组合假设的违反情况，在五个基准数据集上实现了最先进性能。

ABSTRACT

Removing undesired reflection from an image captured through a glass surface is a very challenging problem with many practical application scenarios. For improving reflection removal, cascaded deep models have been usually adopted to estimate the transmission in a progressive manner. However, most existing methods are still limited in exploiting the result in prior stage for guiding transmission estimation. In this paper, we present a novel two-stage network with reflection-aware guidance (RAGNet) for single image reflection removal (SIRR). To be specific, the reflection layer is firstly estimated due to that it generally is much simpler and is relatively easier to estimate. Reflectionaware guidance (RAG) module is then elaborated for better exploiting the estimated reflection in predicting transmission layer. By incorporating feature maps from the estimated reflection and observation, RAG can be used (i) to mitigate the effect of reflection from the observation, and (ii) to generate mask in partial convolution for mitigating the effect of deviating from linear combination hypothesis. A dedicated mask loss is further presented for reconciling the contributions of encoder and decoder features. Experiments on five commonly used datasets demonstrate the quantitative and qualitative superiority of our RAGNet in comparison to the state-of-the-art SIRR methods. The source code and pre-trained model are available at https://github.com/liyucs/RAGNet.

研究动机与目标

• 通过利用两阶段深度学习框架，解决单图像去反射（SIRR）问题的病态性质。
• 通过有效利用第一阶段估计的反射层，改进透射估计。
• 减轻在真实图像中违反线性组合假设（I = T + R）的强烈反射的影响。
• 设计一种掩码损失，以平衡编码器和解码器特征的贡献，从而获得更好的特征表示。

提出的方法

• 网络首先在专用的第一阶段从观测图像$I$中估计反射层$\hat{R}$。
• 在第二阶段，反射感知引导（RAG）模块利用$I$和$\hat{R}$来引导透射估计$\hat{T}$。
• RAG模块计算特征差异$\mathbf{F}_{\text{diff}} = \mathbf{F}_I - \mathbf{F}_{\hat{R}}$，以抑制观测图像中的反射效应。
• 它生成两个掩码：$\mathbf{M}_{\text{diff}}$用于差异特征，$\mathbf{M}_{\text{dec}}$用于解码器特征，通过部分卷积处理非线性区域。
• 引入一种专用的掩码损失$\mathcal{L}_{\text{mask}}$，以平衡编码器和解码器特征的贡献。
• 该框架使用跳跃连接和多尺度特征融合策略，以保留空间细节和上下文信息。

实验结果

研究问题

• RQ1 先估计反射层是否能提升SIRR中透射估计的准确性和鲁棒性？
• RQ2 如何有效利用估计的反射层来引导透射预测，特别是在线性组合假设失效的区域？
• RQ3 通过部分卷积实现的自适应掩码是否能提升在强反射或非线性反射图像上的性能？
• RQ4 专用掩码损失对平衡网络中编码器与解码器特征贡献的影响是什么？

主要发现

• RAGNet在五个广泛使用的SIRR基准数据集上实现了最先进性能，在Real 20数据集上PSNR达到22.95，SSIM达到0.793。
• 在SIR-2-Wild数据集上，RAGNet的PSNR达到25.52，SSIM达到0.880，优于所有对比方法。
• 消融实验表明，移除掩码损失或差异特征会导致性能显著下降，证实了其必要性。
• 采用逐通道掩码的变体RAGNet ${}_{\mathbf{F}\circ\mathbf{M}^{2c}}$优于统一掩码变体，表明其更适合SIRR任务。
• 单阶段变体RAGNet I→T性能大幅下降，证明了两阶段架构的必要性。
• 定性结果表明，RAGNet能有效去除复杂场景中的强反射，例如高光表面上的明亮反射，而现有方法在此类情况下失效。