[论文解读] SAM-helps-Shadow:When Segment Anything Model meet shadow removal

Xiaofeng Zhang, Chaochen Gu+1 more|arXiv (Cornell University)|Jun 1, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出 SAM-helps-Shadow，一种新颖的一阶段框架，利用分割一切模型（SAM）作为零样本阴影检测与去除的强大先验。通过利用SAM的分割输出来引导阴影定位，并采用二阶深度展开网络进行优化，该方法在ISTD和SRD数据集上实现了最先进性能，同时提升了泛化能力并减少了对标注数据的依赖。

ABSTRACT

The challenges surrounding the application of image shadow removal to real-world images and not just constrained datasets like ISTD/SRD have highlighted an urgent need for zero-shot learning in this field. In this study, we innovatively adapted the SAM (Segment anything model) for shadow removal by introducing SAM-helps-Shadow, effectively integrating shadow detection and removal into a single stage. Our approach utilized the model's detection results as a potent prior for facilitating shadow detection, followed by shadow removal using a second-order deep unfolding network. The source code of SAM-helps-Shadow can be obtained from https://github.com/zhangbaijin/SAM-helps-Shadow.

研究动机与目标

• 解决真实世界图像阴影去除中对零样本学习的迫切需求，因为现有方法受限于ISTD/SRD等受限数据集。
• 通过利用SAM的零样本分割能力实现阴影检测，克服对大规模标注阴影数据集的依赖。
• 将阴影检测与去除整合到单一统一的流水线中，以提升效率与性能。
• 通过利用SAM对阴影特性的理解（无需在特定阴影数据上微调）来增强对真实世界图像的泛化能力。
• 开发一种鲁棒的端到端框架，最大限度减少人工标注与训练复杂度。

提出的方法

• 通过将阴影视为前景对象，将分割一切模型（SAM）适配用于阴影检测，尽管SAM默认将阴影分类为背景。
• 利用SAM的分割掩码作为强先验，以指导阴影检测，实现无需微调的零样本推理。
• 设计一种二阶深度展开网络，通过迭代方式优化阴影去除图像，提升准确度并保留纹理细节。
• 将SAM掩码作为空间先验集成到深度展开网络中，以约束优化过程并提升阴影去除的保真度。
• 使用配对的真实世界图像与带阴影图像端到端训练深度展开网络，无需大量阴影标注。
• 利用SAM与AIGC图像修复原理的可组合性，实现灵活、上下文感知的阴影去除。

实验结果

研究问题

• RQ1 SAM能否在不使用特定阴影数据微调的情况下，有效重用于零样本阴影检测？
• RQ2 与传统方法相比，使用SAM的分割掩码作为先验在多大程度上提升了阴影检测与去除的性能？
• RQ3 二阶深度展开网络在多大程度上增强了阴影去除的准确度与细节保留能力？
• RQ4 所提出的单阶段框架能否泛化至ISTD和SRD等基准数据集之外的真实世界图像？
• RQ5 在定量指标与视觉质量方面，该方法与最先进阴影去除模型相比表现如何？

主要发现

• 在ISTD数据集上，SAM-helps-Shadow的RMSE-all为5.09，优于此前最先进方法（如Bijetive的4.78和SpA-Former的6.86），PSNR为28.85，SSIM为0.959。
• 在SRD数据集上，该方法的RMSE-all为4.79，优于Bejetive（4.15）和SpA-Former（6.86），PSNR为30.72，SSIM为0.952。
• 该方法展现出强大的零样本泛化能力，无需在标注阴影数据上微调，即可有效去除真实世界图像中的阴影。
• 消融实验证实，所提方法在分割准确度与去阴影质量方面均优于标准SAM与基于图像修复的方法。
• 将SAM掩码作为空间先验显著提升了边界一致性，并减少了去阴影图像中的伪影。
• 二阶深度展开网络显著提升了结果保真度，尤其在保留阴影区域的纹理与色彩一致性方面表现突出。