[论文解读] Polarized Reflection Removal with Perfect Alignment in the Wild

Chenyang Lei, Xuhua Huang+4 more|arXiv (Cornell University)|Mar 28, 2020

Image Enhancement Techniques参考文献 33被引用 11

一句话总结

本文提出了一种基于偏振的去反射方法，利用一种新颖的 M-R 数据采集流程，在真实场景中实现了混合图像与透射图像之间的完美对齐。通过采用两阶段深度学习框架并结合感知归一化互相关（PNCC）损失，该方法在合成数据集和真实世界基准测试中均优于当前最先进方法，尤其在处理锐利反射和多种玻璃类型时表现优异，且无需施加限制性假设。

ABSTRACT

We present a novel formulation to removing reflection from polarized images in the wild. We first identify the misalignment issues of existing reflection removal datasets where the collected reflection-free images are not perfectly aligned with input mixed images due to glass refraction. Then we build a new dataset with more than 100 types of glass in which obtained transmission images are perfectly aligned with input mixed images. Second, capitalizing on the special relationship between reflection and polarized light, we propose a polarized reflection removal model with a two-stage architecture. In addition, we design a novel perceptual NCC loss that can improve the performance of reflection removal and general image decomposition tasks. We conduct extensive experiments, and results suggest that our model outperforms state-of-the-art methods on reflection removal.

研究动机与目标

• 解决现有去反射数据集中由于玻璃折射导致背景图像与透射图像之间存在错位的关键问题。
• 克服先前方法依赖于限制性假设（如模糊反射或鬼影线索）的局限性。
• 开发一种物理上准确、数据高效的流程，用于收集真实世界偏振反射数据，实现完美对齐。
• 提出一种可泛化、无假设的深度学习框架，利用偏振线索实现去反射。
• 引入一种感知归一化互相关（PNCC）损失，以提升图像分解任务中的性能。

提出的方法

• 提出一种 M-R 数据采集流程，直接捕获混合（M）和反射（R）图像，然后在原始传感器空间中计算透射（T）为 T = M - R，确保完美对齐。
• 设计一种两阶段深度学习框架：首先估计反射（R），然后从估计的 R 推断透射（T）。
• 提出一种新颖的感知归一化互相关（PNCC）损失，通过在多层特征上最小化反射与透射特征之间的相关性，提升分解质量。
• 以偏振数据（I₁, I₂, I₃, I₄, ρ, φ）作为输入，避免对光源偏振特性或反射模糊性的假设。
• 采用物理上忠实的图像形成模型，其中 T 由 M 和 R 推导得出，从而规避背景图像错位问题。
• 在包含超过 100 种真实世界玻璃类型的全新数据集上验证了该方法，确保数据多样性与对齐性。

实验结果

研究问题

• RQ1 是否可以通过一种新颖的数据采集流程，在真实世界去反射数据集中实现混合图像与透射图像之间的完美对齐？
• RQ2 当与两阶段学习框架结合时，偏振信息在多大程度上提升了去反射性能？
• RQ3 与现有损失（如排除损失）相比，所提出的 PNCC 损失在多大程度上提升了分解性能？
• RQ4 该方法是否能在无需假设模糊或鬼影的前提下，泛化到多种玻璃类型和不同反射外观？
• RQ5 在不施加对反射外观的限制性假设的情况下，是否能提升在具有挑战性的现实场景中的鲁棒性？

主要发现

• 所提方法在合成数据集和真实世界基准测试中均达到最先进性能，在透射图像上取得 34.62 的 PSNR 和 0.936 的 SSIM，优于先前方法。
• 消融实验表明，偏振输入对性能贡献最大，相比非偏振输入，PSNR 提升超过 2.7 dB。
• 两阶段设计相比单阶段基线模型在 PSNR 上提升 0.8 dB，证明其在特征学习方面的有效性。
• PNCC 损失在未进行超参数调优的情况下，相比 DoubleDIP 中的排除损失，PSNR 提升达 3.9 dB。
• 该模型在曲面玻璃及先前工作中的非理想数据上表现出良好泛化能力，几乎无伪影且无残留反射。
• 该方法成功去除了锐利反射，且无需假设反射模糊，优于在该类情况下失效的方法。