[论文解读] Self-Supervised Shadow Removal

Florin-Alexandru Vasluianu, Andrés Romero+2 more|arXiv (Cornell University)|Oct 22, 2020

Image Enhancement Techniques参考文献 38被引用 8

一句话总结

该论文提出了一种自监督的单图像阴影去除方法，通过循环一致性与生成对抗网络（GAN）联合学习阴影去除与添加，无需成对训练数据。该方法在ISTD和USR数据集上实现了最先进性能，在像素级保真度（RMSE、PSNR）和感知质量（LPIPS）方面均优于先前方法。

ABSTRACT

Shadow removal is an important computer vision task aiming at the detection and successful removal of the shadow produced by an occluded light source and a photo-realistic restoration of the image contents. Decades of re-search produced a multitude of hand-crafted restoration techniques and, more recently, learned solutions from shad-owed and shadow-free training image pairs. In this work,we propose an unsupervised single image shadow removal solution via self-supervised learning by using a conditioned mask. In contrast to existing literature, we do not require paired shadowed and shadow-free images, instead we rely on self-supervision and jointly learn deep models to remove and add shadows to images. We validate our approach on the recently introduced ISTD and USR datasets. We largely improve quantitatively and qualitatively over the compared methods and set a new state-of-the-art performance in single image shadow removal.

研究动机与目标

• 解决单图像阴影去除问题，无需依赖成对的带阴影与无阴影图像数据集。
• 克服监督方法依赖昂贵成对数据的局限性，并缓解其产生的伪影与模糊问题。
• 通过条件掩码引入自监督机制，实现阴影去除与添加的联合学习。
• 通过聚焦感知与循环一致性监督，提升泛化能力并减少对强像素级损失的依赖。
• 在基准数据集上实现定量指标与视觉质量的最先进性能。

提出的方法

• 采用受CycleGAN启发的循环一致GAN框架，在无成对数据的情况下学习带阴影与无阴影图像域之间的图像到图像翻译。
• 在训练过程中引入条件掩码，引导网络从带阴影输入重建原始图像。
• 训练两个生成器：一个用于阴影去除（G_s），一个用于阴影添加（G_a），通过循环一致性强制实现身份映射。
• 采用基于深度特征的感知损失，以保留纹理与色彩保真度，减少模糊与伪影。
• 使用动态掩码缓冲区在训练期间采样多样化的阴影形状与位置，增强泛化能力。
• 以感知损失与循环一致性损失替代强L1像素级损失，提升对光照与语义变化的鲁棒性。

实验结果

研究问题

• RQ1 能否通过循环一致性与GAN的自监督学习，在无需成对训练数据的情况下实现最先进阴影去除效果？
• RQ2 联合学习阴影去除与添加如何提升模型泛化能力并减少伪影？
• RQ3 以感知损失与循环一致性损失替代像素级损失，对视觉质量与保真度有何影响？
• RQ4 动态采样阴影掩码的使用如何影响模型性能与鲁棒性？
• RQ5 当数据集缺乏阴影形成多样性时，无成对训练是否优于成对训练？

主要发现

• 在ISTD数据集上，该方法在成对训练设置下测试RMSE为4.07，PSNR为38.22，优于先前方法。
• 在更具挑战性的ISTD+数据集上，成对版本的RMSE为2.77，PSNR为42.05，创下新SOTA纪录。
• 无成对版本在ISTD数据集上实现RMSE为4.94，PSNR为34.71，显著优于无成对SOTA方法Mask Shadow GAN。
• 模型显著降低了感知误差（LPIPS），表明其具有更优的视觉真实感与纹理保留能力。
• 无成对训练变体在复杂场景（尤其光照与纹理变化大）中泛化能力优于成对版本。
• 误差热图显示，该模型在阴影区域最小化残差，并避免在高对比度区域产生伪影，优于先前方法。