[论文解读] Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN

Xiaodong Cun, Chi‐Man Pun+1 more|arXiv (Cornell University)|Nov 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 21

一句话总结

本文提出了一种双层次聚合网络（DHAN）和一种阴影抠图生成对抗网络（SMGAN），以实现无鬼影的阴影去除。DHAN 使用增长空洞卷积和层次化特征与注意力聚合，以保留阴影边界；而 SMGAN 通过从无阴影图像和掩码中合成逼真的阴影图像来增强训练数据，显著提升了颜色一致性和性能，优于当前最先进方法。

ABSTRACT

Shadow removal is an essential task for scene understanding. Many studies consider only matching the image contents, which often causes two types of ghosts: color in-consistencies in shadow regions or artifacts on shadow boundaries. In this paper, we tackle these issues in two ways. First, to carefully learn the border artifacts-free image, we propose a novel network structure named the dual hierarchically aggregation network~(DHAN). It contains a series of growth dilated convolutions as the backbone without any down-samplings, and we hierarchically aggregate multi-context features for attention and prediction, respectively. Second, we argue that training on a limited dataset restricts the textural understanding of the network, which leads to the shadow region color in-consistencies. Currently, the largest dataset contains 2k+ shadow/shadow-free image pairs. However, it has only 0.1k+ unique scenes since many samples share exactly the same background with different shadow positions. Thus, we design a shadow matting generative adversarial network~(SMGAN) to synthesize realistic shadow mattings from a given shadow mask and shadow-free image. With the help of novel masks or scenes, we enhance the current datasets using synthesized shadow images. Experiments show that our DHAN can erase the shadows and produce high-quality ghost-free images. After training on the synthesized and real datasets, our network outperforms other state-of-the-art methods by a large margin. The code is available: http://github.com/vinthony/ghost-free-shadow-removal/

研究动机与目标

• 为解决阴影去除中的鬼影伪影，特别是颜色不一致和边界伪影问题。
• 克服现有阴影去除数据集中场景多样性不足的问题，该问题会损害颜色一致性。
• 通过基于合成阴影生成的数据增强，开发一种鲁棒且可泛化的阴影去除模型。
• 通过统一的网络架构实现阴影检测与去除的联合学习，结合层次化特征与注意力聚合。

提出的方法

• 提出一种双层次聚合网络（DHAN），采用增长空洞卷积作为主干网络，无需下采样以保留低层次细节。
• 引入层次化特征聚合与层次化注意力机制，以增强多上下文特征重用并提升边界保真度。
• 设计一种阴影抠图生成对抗网络（SMGAN），学习从无阴影图像和掩码中生成逼真的阴影抠图，实现数据增强。
• 在真实配对数据集上训练 SMGAN，以合成具有多样化场景和掩码的新颖阴影图像，扩展训练数据分布。
• 将真实数据与合成数据结合，对 DHAN 进行端到端训练，提升泛化能力并减少伪影。
• 利用真实阴影掩码的注意力损失监督注意力机制，确保对阴影区域的准确聚焦。

实验结果

研究问题

• RQ1 具有层次化特征与注意力聚合的深度网络架构是否能有效减少阴影去除中的鬼影伪影？
• RQ2 通过基于 GAN 的抠图网络生成的合成阴影数据，如何提升模型的泛化能力与颜色一致性？
• RQ3 阴影抠图生成 GAN 在多大程度上能生成保留自然场景分布的逼真阴影抠图？
• RQ4 通过统一架构实现阴影检测与去除的联合学习，是否优于分离或单任务方法？
• RQ5 在增强数据（真实 + 合成）上进行训练，是否能提升在未见数据集（如 SRD 和 SBU）上的性能？

主要发现

• 所提出的 DHAN 配合双层次聚合（DLA）在 SRD 数据集上将 RMSE 降低至 5.67，优于基线 CAN（6.14）与 LA 变体（5.98）。
• 消融实验表明，层次化注意力与特征聚合显著减少了鬼影，尤其在阴影边界处。
• SMGAN 生成的阴影图像质量高，LPIPS 为 5.38，SSIM 为 91.67，PSNR 为 26.31，优于 Mask-ShadowGAN 与 Pix2Pix。
• 在 ISTD+S 增强数据集上训练，SRD 数据集上的 RMSE 从 11.9（仅 ISTD）降低至 9.82，证明泛化能力显著提升。
• 在 SBU 数据集上，使用合成数据训练的模型成功去除了阴影且无鬼影，即使在新场景中亦表现良好。
• 视觉对比显示，所提方法能有效去除阴影，同时保持颜色一致性，避免伪影，尤其在大范围阴影区域表现更优。