[论文解读] Segment Anything Model (SAM) Meets Glass: Mirror and Transparent Objects Cannot Be Easily Detected

Dongsheng Han, Chaoning Zhang+6 more|arXiv (Cornell University)|Apr 29, 2023

Advanced Neural Network Applications被引用 12

一句话总结

本论文在玻璃相关任务上评估 SAM，并发现 SAM 经常无法检测透明物体和镜面物体，这在实际部署中引发安全关注。

ABSTRACT

Meta AI Research has recently released SAM (Segment Anything Model) which is trained on a large segmentation dataset of over 1 billion masks. As a foundation model in the field of computer vision, SAM (Segment Anything Model) has gained attention for its impressive performance in generic object segmentation. Despite its strong capability in a wide range of zero-shot transfer tasks, it remains unknown whether SAM can detect things in challenging setups like transparent objects. In this work, we perform an empirical evaluation of two glass-related challenging scenarios: mirror and transparent objects. We found that SAM often fails to detect the glass in both scenarios, which raises concern for deploying the SAM in safety-critical situations that have various forms of glass.

研究动机与目标

• 评估 SAM 的能力在受控基准中分割透明和镜面物体。
• 量化 SAM 相对于专门的玻璃和镜面分割方法的性能。
• 识别由于反射、折射和玻璃表面的边界模糊导致的 SAM 失败模式。

提出的方法

• 使用最好的预训练 SAM 模型（VIT-H）在 SA-1B 预训练上。
• 通过计算 IoU 与逐图像中 IoU 最高对象的真值对齐来评估 SAM 输出。
• 在多个数据集上将 SAM 与最先进的玻璃和镜子分割方法进行比较。
• 采用评估指标：IoU、像素准确度、F-beta、MAE、BER。
• 用伪二值表示对结果进行可视化，以突出分割差距。

Figure 1: Sample qualitative comparison results on GDD and GSD.

实验结果

研究问题

• RQ1 SAM 能否在标准玻璃数据集中检测并分割透明（玻璃）物体？
• RQ2 SAM 能否在标准镜子数据集中检测镜面物体？
• RQ3 在这些基准上，SAM 的性能与专门的玻璃/镜面分割模型相比如何？
• RQ4 在玻璃和镜面物体方面，SAM 常见的失败模式有哪些？

主要发现

• 与专门方法相比，SAM 在玻璃数据集上获得较低的 IoU（GDD: 48.47 IoU; GSD: 50.60 IoU）。
• SAM 难以检测玻璃边界，常将位于玻璃后面的对象分割出来，而非玻璃本身。
• 在镜面数据集上，SAM 的表现喜忧参半；MSD 结果的 IoU 为 51.57，而 PMD 的 IoU 达到 64.75，表明数据集相关行为。
• SAM 倾向于分割内部反射或镜子内部的物体，而不是镜面本身，突出反射场景中的失败模式。
• 与专用的玻璃和镜子模型（如 EBLNet、GlassNet、MirrorNet）相比，SAM 在大多数玻璃数据集上的表现不佳，但在一些 PMD 镜像上显示出相对竞争力的结果。

Figure 2: Sample qualitative comparison results on MSD and PMD.