[论文解读] When SAM Meets Shadow Detection

Leiping Jie, Hui Zhang|arXiv (Cornell University)|May 19, 2023

Advanced Image and Video Retrieval Techniques被引用 8

一句话总结

本研究在四个基准上对 Segment Anything Model (SAM) 在阴影检测中的表现进行探究，发现 SAM 相较于专门模型存在不足，且经常生成大量微小掩模；分析掩模分布并评估两种掩模选择策略。

ABSTRACT

As a promptable generic object segmentation model, segment anything model (SAM) has recently attracted significant attention, and also demonstrates its powerful performance. Nevertheless, it still meets its Waterloo when encountering several tasks, e.g., medical image segmentation, camouflaged object detection, etc. In this report, we try SAM on an unexplored popular task: shadow detection. Specifically, four benchmarks were chosen and evaluated with widely used metrics. The experimental results show that the performance for shadow detection using SAM is not satisfactory, especially when comparing with the elaborate models. Code is available at https://github.com/LeipingJie/SAMSh.

研究动机与目标

• 评估 SAM 在多个基准上对阴影检测的泛化能力。
• 以 BER 为主要指标，定量比较 SAM 与最先进的阴影检测器。
• 刻画 SAM 生成的掩模分布并研究掩模选择策略。
• 提供见解以指导将 SAM 应用于阴影相关任务的适配。

提出的方法

• 使用四个阴影检测基准：SBU、UCF、ISTD、CUHK，聚焦测试集划分。
• 以 Balance Error Rate (BER) 作为主要评测指标。
• 在无提示设置下，SAM 为每张图像生成多种掩模。
• 比较两种掩模选择策略：最大 F 值和最大 IoU。
• 提供 SAM 输出及失败案例的定性可视化。
• 讨论预测掩模的数量与大小分布。

实验结果

研究问题

• RQ1 相比于专门模型，在常见基准上 SAM 在阴影检测中的表现如何？
• RQ2 不同掩模选择策略对 SAM 的阴影检测性能有何影响？
• RQ3 SAM 生成的掩模（如数量、大小分布等）对阴影任务的性能有何影响？
• RQ4 在零-shot 使用之外，是否可以有效地改编或引导 SAM 进行阴影检测？

主要发现

• SAM 在阴影检测方面的性能显著劣于最先进的方法（BER 约 25 而在若干数据集上约为 3 的水平）。
• SAM 倾向于生成大量微小的分割掩模，掩模数量分布很广（0 到 ~500）随图像变化。
• 在本任务中，掩模选择通过最大 F 值通常优于最大 IoU。
• SAM 对复杂阴影和背景杂乱场景的处理能力有限，表明对阴影检测的零-shot 泛化能力受限。
• 定性结果显示在简单背景场景下较易成功，但在具有挑战性的场景中频繁失败。