[论文解读] ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal

Lanqing Guo, Chong Wang+5 more|arXiv (Cornell University)|Dec 9, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

ShadowDiffusion 提出首个基于扩散模型的阴影去除框架，通过动态掩码感知扩散模型（DMDM）整合退化先验与生成先验。它采用一种类似展开的采样策略，联合优化无阴影图像与阴影掩码，实现在 SRD 数据集上 34.73dB 的 PSNR，显著优于先前方法。

ABSTRACT

Recent deep learning methods have achieved promising results in image shadow removal. However, their restored images still suffer from unsatisfactory boundary artifacts, due to the lack of degradation prior embedding and the deficiency in modeling capacity. Our work addresses these issues by proposing a unified diffusion framework that integrates both the image and degradation priors for highly effective shadow removal. In detail, we first propose a shadow degradation model, which inspires us to build a novel unrolling diffusion model, dubbed ShandowDiffusion. It remarkably improves the model's capacity in shadow removal via progressively refining the desired output with both degradation prior and diffusive generative prior, which by nature can serve as a new strong baseline for image restoration. Furthermore, ShadowDiffusion progressively refines the estimated shadow mask as an auxiliary task of the diffusion generator, which leads to more accurate and robust shadow-free image generation. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to validate our method's effectiveness. Compared to the state-of-the-art methods, our model achieves a significant improvement in terms of PSNR, increasing from 31.69dB to 34.73dB over SRD dataset.

研究动机与目标

• 通过嵌入物理退化先验，解决基于深度学习的阴影去除中边界伪影与残留阴影问题。
• 克服现有方法依赖不准确或预估计阴影掩码的局限性。
• 开发一种统一的扩散框架，联合优化无阴影图像生成与阴影掩码精炼。
• 探索扩散模型在去噪之外的低层次视觉任务中的潜力，特别是具有复杂退化模式的图像恢复任务。

提出的方法

• 提出一种空间可变阴影退化模型，将退化分解为阴影掩码与强度图，捕捉真实光照的复杂性。
• 引入一种动态掩码感知扩散模型（DMDM），在输入阴影图像与预测掩码的双重条件下进行图像生成，实现图像与掩码的联合优化。
• 设计一种类似展开的扩散采样策略，将退化先验显式整合到逆去噪过程中，提升稳定性和收敛性。
• 将阴影掩码精炼作为扩散生成器中的辅助任务，通过图像恢复过程逐步优化掩码，减少边界伪影。
• 在扩散过程中采用四通道条件输入（阴影图像 + 掩码），使模型在训练中学习掩码与图像之间的依赖关系。
• 通过移除掩码条件，将框架适配于低光照增强与曝光校正任务，将其视为全局退化情形。

实验结果

研究问题

• RQ1 当结合物理先验时，扩散模型能否有效建模真实世界阴影的复杂、空间可变退化？
• RQ2 将掩码精炼作为辅助任务，如何提升阴影去除的鲁棒性与质量？
• RQ3 将退化先验展开至扩散采样过程中，在多大程度上提升了收敛性并减少了伪影？
• RQ4 所提出的框架是否能泛化至阴影去除之外的其他图像增强任务，如低光照增强？

主要发现

• ShadowDiffusion 在 SRD 数据集上实现 34.73dB 的 PSNR，显著优于先前 SOTA 的 31.69dB。
• 完整模型（含展开策略）在 SRD 数据集上比仅使用 DMDM 的变体高出 0.21dB 的 PSNR，证明了展开策略的有效性。
• 展开框架提升了采样稳定性和收敛速度，减少了最终生成结果中的伪影与不稳定性。
• 即使未显式进行掩码精炼，仅使用 DMDM 的变体仍优于现有扩散模型（如 SR3 和 WeatherDiffusion），表明所提条件机制的强大性能。
• 该模型在低光照增强与曝光校正任务中也表现出良好泛化能力，分别取得 27.36dB 和 22.33dB 的 SOTA PSNR 结果。
• 视觉结果表明，与 BMNet 和 Fu 等人等方法相比，ShadowDiffusion 生成的输出更自然、无伪影，边界更清晰。