[论文解读] Single Image Reflection Removal through Cascaded Refinement

Chao Li, Yixiao Yang+3 more|arXiv (Cornell University)|Nov 15, 2019

Image Enhancement Techniques参考文献 35被引用 7

一句话总结

该论文提出了一种用于单图像去反射的迭代提升卷积LSTM网络（IBCLN），通过级联细化透射层和反射层，利用LSTM缓解梯度消失问题，并采用残差重建损失以增强训练效果。该方法在真实世界基准测试中实现了最先进性能，在定量指标和视觉质量方面均优于先前方法。

ABSTRACT

We address the problem of removing undesirable reflections from a single image captured through a glass surface, which is an ill-posed, challenging but practically important problem for photo enhancement. Inspired by iterative structure reduction for hidden community detection in social networks, we propose an Iterative Boost Convolutional LSTM Network (IBCLN) that enables cascaded prediction for reflection removal. IBCLN is a cascaded network that iteratively refines the estimates of transmission and reflection layers in a manner that they can boost the prediction quality to each other, and information across steps of the cascade is transferred using an LSTM. The intuition is that the transmission is the strong, dominant structure while the reflection is the weak, hidden structure. They are complementary to each other in a single image and thus a better estimate and reduction on one side from the original image leads to a more accurate estimate on the other side. To facilitate training over multiple cascade steps, we employ LSTM to address the vanishing gradient problem, and propose residual reconstruction loss as further training guidance. Besides, we create a dataset of real-world images with reflection and ground-truth transmission layers to mitigate the problem of insufficient data. Comprehensive experiments demonstrate that the proposed method can effectively remove reflections in real and synthetic images compared with state-of-the-art reflection removal methods.

研究动机与目标

• 解决在真实世界场景中，由于反射导致图像质量下降的具有挑战性且病态的单图像去反射问题。
• 通过提出一种数据驱动的单图像解决方案，克服先前方法依赖手工设计先验或需要多幅图像的局限性。
• 通过迭代式、级联式地细化透射层和反射层，利用二者互补特性以提升性能。
• 通过使用LSTM保留长距离依赖关系并防止梯度消失，缓解深层级联网络中的训练困难。
• 提供一个大规模真实世界数据集，其中包含密集标注的透射层真实值，以支持未来研究。

提出的方法

• 设计一种级联神经网络架构，使透射层和反射层的预测在多个时间步中迭代细化。
• 采用共享的卷积LSTM模块，以在级联步骤间保持并传播信息，实现梯度流动并确保训练稳定。
• 引入残差重建损失，与图像生成过程形成闭环，从而在每个细化步骤中提升监督效果。
• 结合多尺度感知损失、对抗损失与残差重建损失，以增强结构和感知保真度。
• 使用线性图像生成模型，从真实透射层和反射层生成受反射影响的图像，支持端到端训练。
• 通过结合像素级损失、感知损失、对抗损失与残差重建损失联合训练网络，以指导准确的层级分解。

实验结果

研究问题

• RQ1 与单阶段网络相比，对透射层和反射层进行迭代式、级联式细化是否能进一步提升单图像去反射性能？
• RQ2 在深层级联网络中，使用LSTM稳定训练的效果如何？
• RQ3 引入残差重建损失在多大程度上提升了反射层与透射层估计的准确性？
• RQ4 在真实世界、多样化且具有挑战性的测试集上，所提方法与最先进方法相比表现如何？
• RQ5 新收集的真实世界数据集若包含密集标注的真实透射层，是否能提升去反射模型的泛化能力与基准测试水平？

主要发现

• 在所提出的现实世界数据集上，IBCLN在PSNR（24.20）和SSIM（0.884）指标上均达到最高，优于所有基线方法。
• 在$SIR^{2}$数据集上，IBCLN的PSNR为23.57，SSIM为0.783，所有对比方法中排名第一。
• 消融实验表明，若移除任一组件（如残差损失、对抗损失或多尺度感知损失），性能均出现显著下降。
• 该模型约在3个时间步后收敛，进一步增加步骤数不会提升性能，甚至可能造成性能下降。
• 视觉对比显示，IBCLN能有效去除反射，且不会造成过度平滑或去除不足，优于那些过度或不足去除的模型。
• 所提出的包含密集标注真实值的现实世界数据集为未来研究提供了宝贵的基准，解决了该领域此类数据稀缺的问题。