[论文解读] Robustness of Segment Anything Model (SAM) for Autonomous Driving in Adverse Weather Conditions

Xinru Shan, Chaoning Zhang|arXiv (Cornell University)|Jun 23, 2023

IoT and Edge/Fog Computing被引用 7

一句话总结

本文通过在五个严重程度等级下使用基于物理的损坏，评估了分割一切模型（SAM）在恶劣天气条件下自动驾驶场景下的鲁棒性。尽管在晴朗天气下零样本性能表现强劲（mIoU = 0.7161），但在强降雨和降雪条件下，SAM的分割精度显著下降，严重程度为5时mIoU分别降至0.4395和0.4973，表明其在极端天气下可靠性有限。

ABSTRACT

Segment Anything Model (SAM) has gained considerable interest in recent times for its remarkable performance and has emerged as a foundational model in computer vision. It has been integrated in diverse downstream tasks, showcasing its strong zero-shot transfer capabilities. Given its impressive performance, there is a strong desire to apply SAM in autonomous driving to improve the performance of vision tasks, particularly in challenging scenarios such as driving under adverse weather conditions. However, its robustness under adverse weather conditions remains uncertain. In this work, we investigate the application of SAM in autonomous driving and specifically explore its robustness under adverse weather conditions. Overall, this work aims to enhance understanding of SAM's robustness in challenging scenarios before integrating it into autonomous driving vision tasks, providing valuable insights for future applications.

研究动机与目标

• 评估分割一切模型（SAM）在自动驾驶中恶劣天气条件下的鲁棒性。
• 研究不同类型的天气损坏及其严重程度对SAM分割性能的影响。
• 在将SAM集成到安全关键型自动驾驶系统之前，揭示其局限性。
• 为SAM在受控、分级严重程度的天气损坏下的零样本分割建立基准。

提出的方法

• 对BDD100k数据集中的图像应用基于物理的损坏，模拟雨、雪、雾、霜和亮度变化的五级严重程度。
• 使用既定方法生成恶劣天气图像：使用Photoshop模拟雨痕，基于Fu等人（2017）和Hendrycks & Dietterich（2019）的损坏方法。
• 从SAM输出中提取每个图像的所有预测掩码，不进行IoU过滤以最大化掩码覆盖范围。
• 为每个真实掩码选择与之IoU最高的预测掩码以评估精度。
• 通过计算所有真实掩码与预测掩码对之间的平均IoU（mIoU）来量化分割性能。
• 以mIoU为主要指标，方程1用于识别最佳匹配的预测掩码，方程2用于计算所有实例的平均IoU。

实验结果

研究问题

• RQ1 SAM在不同类型的恶劣天气条件下的分割性能如何变化？
• RQ2 天气损坏的严重程度增加对SAM在自动驾驶场景中mIoU的影响是什么？
• RQ3 SAM在轻度与重度天气条件下是否保持稳健性能，特别是在严重遮挡情况下？
• RQ4 为何SAM在严重程度5的降雪条件下性能表现不一致，而严重程度4时表现更差？
• RQ5 基于物理的天气损坏在多大程度上影响SAM在自动驾驶中的零样本泛化能力？

主要发现

• 在正常（原始）条件下，SAM的mIoU为0.7161，作为零样本性能的基准。
• 在严重程度5时，雨天mIoU降至0.4395，雪天降至0.4973，表明在强降水条件下性能显著下降。
• 雾和霜的性能更稳定，严重程度5时mIoU分别为0.6172和0.5392。
• 亮度损坏的影响最轻微，严重程度1时mIoU仅下降1.8%（至0.6983），表明对光照变化具有鲁棒性。
• 严重程度5时雪天的异常结果（mIoU = 0.4973）高于严重程度4（0.4833），可能源于积雪被误分类为单一巨大掩码，导致视觉严重遮挡。
• SAM在遮挡严重的条件（如强降雨和降雪）下性能最脆弱，此时物体边界模糊且被遮蔽。