[论文解读] RIS-GAN: Explore Residual and Illumination with Generative Adversarial Networks for Shadow Removal

Ling Zhang, Chengjiang Long+2 more|arXiv (Cornell University)|Nov 20, 2019

Image Enhancement Techniques参考文献 30被引用 14

一句话总结

该论文提出RIS-GAN，一种基于生成对抗网络的新框架，通过联合探索残差与光照特征实现阴影去除。通过在粗到细的优化过程中结合对抗训练与交叉损失函数，利用负残差图像与逆光照映射，RIS-GAN在SRD和ISTD基准上实现了最先进性能，且无需依赖专门的阴影感知组件。

ABSTRACT

Residual images and illumination estimation have been proved very helpful in image enhancement. In this paper, we propose a general and novel framework RIS-GAN which explores residual and illumination with Generative Adversarial Networks for shadow removal. Combined with the coarse shadow-removal image, the estimated negative residual images and inverse illumination maps can be used to generate indirect shadow-removal images to refine the coarse shadow-removal result to the fine shadow-free image in a coarse-to-fine fashion. Three discriminators are designed to distinguish whether the predicted negative residual images, shadow-removal images, and the inverse illumination maps are real or fake jointly compared with the corresponding ground-truth information. To our best knowledge, we are the first one to explore residual and illumination for shadow removal. We evaluate our proposed method on two benchmark datasets, i.e., SRD and ISTD, and the extensive experiments demonstrate that our proposed method achieves the superior performance to state-of-the-arts, although we have no particular shadow-aware components designed in our generators.

研究动机与目标

• 解决复杂场景中因光照变化与纹理差异导致图像质量下降的阴影去除挑战。
• 探索残差与光照特征在提升阴影去除性能方面的互补作用。
• 开发一种无需依赖专用阴影感知组件的可泛化端到端框架，整合残差与光照建模。
• 通过结合多种互补输入的粗到细优化策略，提升阴影去除质量。

提出的方法

• 该框架采用四个编码器-解码器生成器：分别用于负残差图像、中间去阴影图像、逆光照映射以及优化后的去阴影图像。
• 负残差图像通过输入阴影图像的逐元素加法生成，以间接恢复无阴影区域。
• 基于Retinex模型估计逆光照映射，实现阴影区域检测，并通过逐元素乘法间接实现去阴影。
• 优化生成器将粗粒度去阴影输出与残差分支和光照分支的间接结果相结合，实现高质量的精细化处理。
• 三个判别器采用共享架构联合训练，用于区分负残差、去阴影图像与逆光照映射的真实与伪造输出。
• 联合判别器与交叉损失函数强制三种输出之间的一致性，确保与真实标签数据对齐。

实验结果

研究问题

• RQ1 联合建模残差与光照特征是否能超越标准生成对抗网络方法，显著提升阴影去除性能？
• RQ2 在残差与光照估计中引入间接去阴影结果，如何提升最终输出质量？
• RQ3 对抗训练与交叉损失在确保结果真实感与一致性方面分别起到何种作用？
• RQ4 一种不依赖专用阴影感知组件的通用框架，能否超越专门设计的最先进方法？

主要发现

• RIS-GAN在SRD与ISTD两个基准上均取得最佳性能，SRD上RMSE为8.22，ISTD上为8.99，优于所有消融实验变体。
• 消融研究证实，对抗损失与交叉损失均不可或缺，任一缺失均导致性能显著下降。
• 负残差与逆光照映射的结合提供了互补信息，显著提升了去阴影区域的细节恢复与真实感。
• 该框架成功从负残差与逆光照映射中生成准确的阴影检测掩码，可视化结果验证了这一点。
• 通过逐帧处理实现的视频阴影去除展示了该方法的潜力，但时间一致性仍为挑战。
• 该框架具备良好的泛化能力，可扩展至其他图像恢复任务，如去雨、去雾与固有图像分解。