[论文解读] On the Robustness of Segment Anything

Yihao Huang, Yue Cao+6 more|arXiv (Cornell University)|May 25, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文通过在 SA-1B 和 KITTI 数据集上构建的新基准，评估了分割一切模型（SAM）在对抗性攻击和常见损坏下的测试时鲁棒性。尽管泛化能力强大，SAM 对 PGD 和 BIM 对抗性攻击表现出高度敏感性，而对大多数损坏类型仍保持鲁棒性，除模糊相关损坏外，这凸显了其在自动驾驶等安全关键应用中的关键脆弱性。

ABSTRACT

Segment anything model (SAM) has presented impressive objectness identification capability with the idea of prompt learning and a new collected large-scale dataset. Given a prompt (e.g., points, bounding boxes, or masks) and an input image, SAM is able to generate valid segment masks for all objects indicated by the prompts, presenting high generalization across diverse scenarios and being a general method for zero-shot transfer to downstream vision tasks. Nevertheless, it remains unclear whether SAM may introduce errors in certain threatening scenarios. Clarifying this is of significant importance for applications that require robustness, such as autonomous vehicles. In this paper, we aim to study the testing-time robustness of SAM under adversarial scenarios and common corruptions. To this end, we first build a testing-time robustness evaluation benchmark for SAM by integrating existing public datasets. Second, we extend representative adversarial attacks against SAM and study the influence of different prompts on robustness. Third, we study the robustness of SAM under diverse corruption types by evaluating SAM on corrupted datasets with different prompts. With experiments conducted on SA-1B and KITTI datasets, we find that SAM exhibits remarkable robustness against various corruptions, except for blur-related corruption. Furthermore, SAM remains susceptible to adversarial attacks, particularly when subjected to PGD and BIM attacks. We think such a comprehensive study could highlight the importance of the robustness issues of SAM and trigger a series of new tasks for SAM as well as downstream vision tasks.

研究动机与目标

• 研究分割一切模型（SAM）在对抗性场景和常见损坏下的测试时鲁棒性。
• 建立一个综合性评估基准，整合公开数据集（SA-1B 和 KITTI）用于鲁棒性测试。
• 分析不同提示类型（点、边界框、掩码）在损坏和对抗性条件下对 SAM 鲁棒性的影响。
• 在分布外（OOD）设置下，分别评估 SAM 在小物体和大物体上的表现，特别是在自动驾驶场景中。
• 将分割专用对抗性攻击（如 SegPGD）扩展至分类基方法之外，以实现更真实的评估。

提出的方法

• 通过整合 SA-1B 和 KITTI 数据集，构建了用于分布内（IID）和分布外（OOD）评估的测试时鲁棒性评估基准。
• 针对分割任务，专门扩展了对抗性攻击方法——FGSM、PGD、BIM 和 SegPGD，以评估在人为设计扰动下的鲁棒性。
• 使用 ImageNet-C 和 KITTI-C 数据集，在五个严重等级下，对 SAM 在 15 种常见损坏（如高斯噪声、模糊、雾霾、积雪）下的表现进行评估。
• 在 KITTI 数据集中对物体大小（小物体 vs. 大物体）进行消融研究，以分析不同物体尺度下的鲁棒性差异。
• 使用平均交并比（mIoU）作为前景和背景分割掩码的主要评估指标。
• 通过可视化不同物体类别（如窗户、人、汽车）的对抗性和损坏结果，定性分析失败模式。

实验结果

研究问题

• RQ1 SAM 在各种常见损坏下的表现如何？哪些损坏类型对其分割准确率造成最严重的影响？
• RQ2 在实例分割背景下，SAM 对对抗性攻击（尤其是 PGD 和 BIM）的脆弱性程度如何？
• RQ3 提示类型（如点、边界框、掩码）在对抗性和损坏条件下如何影响 SAM 的鲁棒性？
• RQ4 在自动驾驶等真实世界分布外场景中，SAM 对小物体和大物体的鲁棒性是否存在显著差异？
• RQ5 与分类基攻击相比，分割专用对抗性攻击（如 SegPGD）是否会在 SAM 中引发更严重的失败？

主要发现

• SAM 对大多数常见损坏表现出卓越鲁棒性，包括高斯噪声、脉冲噪声、冲击噪声、雾霾、积雪以及亮度/对比度变化，在干净输入和中等损坏输入下 mIoU 值均高于 0.99。
• 与模糊相关的损坏——尤其是散焦模糊、磨砂玻璃模糊和变焦模糊——显著降低 SAM 的性能，严重等级为 5 时，前景 mIoU 降至 0.3 以下。
• SAM 对 PGD 和 BIM 对抗性攻击高度脆弱，在 KITTI 小物体上 PGD 攻击下，前景 mIoU 低至 0.2626。
• SegPGD 攻击导致掩码缩小，而 PGD 和 BIM 攻击则引发过分割，常超出原始物体边界。
• 在 KITTI 小物体上，对抗性攻击（PGD、BIM、SegPGD）导致性能显著下降，严重等级为 5 时，前景 mIoU 低于 0.3。
• 尽管对大多数损坏具有鲁棒性，但在模糊和对抗性攻击下的性能退化表明，其在自动驾驶等安全关键应用中存在关键脆弱性。