[论文解读] Unsupervised Shadow Removal Using Target Consistency Generative Adversarial Network
本文提出TC-GAN，一种新颖的无监督阴影去除方法，通过目标一致性约束学习从有阴影图像到无阴影图像的一一映射，无需成对训练数据。通过严格强制输入有阴影图像与生成的无阴影输出之间的相关性，TC-GAN实现了最先进性能，在FID上优于先前的无监督方法14.9%，在KID上优于31.5%，且在质量上与有监督方法相当。
Unsupervised shadow removal aims to learn a non-linear function to map the original image from shadow domain to non-shadow domain in the absence of paired shadow and non-shadow data. In this paper, we develop a simple yet efficient target-consistency generative adversarial network (TC-GAN) for the shadow removal task in the unsupervised manner. Compared with the bidirectional mapping in cycle-consistency GAN based methods for shadow removal, TC-GAN tries to learn a one-sided mapping to cast shadow images into shadow-free ones. With the proposed target-consistency constraint, the correlations between shadow images and the output shadow-free image are strictly confined. Extensive comparison experiments results show that TC-GAN outperforms the state-of-the-art unsupervised shadow removal methods by 14.9% in terms of FID and 31.5% in terms of KID. It is rather remarkable that TC-GAN achieves comparable performance with supervised shadow removal methods.
研究动机与目标
- 解决阴影去除任务中缺乏有阴影与无阴影图像成对训练数据的问题。
- 通过强制输入有阴影图像与其生成的无阴影对应图像之间保持强一致性，提升无监督阴影去除性能。
- 相较于双向循环一致性方法，开发一种更高效的单向映射机制。
- 在无需真实成对数据的情况下，实现与有监督阴影去除方法相当的性能。
提出的方法
- 提出一种目标一致性生成对抗网络（TC-GAN），学习从有阴影图像到无阴影图像的单向映射。
- 引入目标一致性约束，以强制输入有阴影图像与生成的无阴影输出之间保持强相关性。
- 使用判别器区分真实无阴影图像与生成的无阴影图像，而生成器在目标一致性约束下最小化重建误差。
- 采用无需循环一致性的训练策略，避免对双向映射的需求。
- 利用对抗训练结合感知损失，以保留图像细节与真实感。
- 通过对抗损失、感知损失与目标一致性损失的组合优化生成器。
实验结果
研究问题
- RQ1与双向循环一致性GAN相比，具有目标一致性的单向映射能否实现更优的阴影去除性能？
- RQ2目标一致性约束在无监督阴影去除中，对保持图像结构与减少域偏移方面有多有效？
- RQ3无监督方法在多大程度上可达到有监督阴影去除方法的性能？
- RQ4所提出的TC-GAN在不同类型的阴影和真实世界图像上是否具备良好的泛化能力？
主要发现
- TC-GAN在FID上相比先前最先进无监督方法提升14.9%，表明生成图像质量显著提高。
- 在KID上提升31.5%，表明生成图像分布与真实分布对齐更优。
- 尽管未使用任何成对数据进行训练，TC-GAN的性能与有监督阴影去除方法相当。
- 目标一致性约束显著增强了输入有阴影图像与生成输出之间的特征级对齐。
- 消融实验证实，目标一致性损失对性能提升至关重要，尤其在保留纹理与色彩保真度方面。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。