[论文解读] Segment Anything Is Not Always Perfect: An Investigation of SAM on Different Real-world Applications

Wei Ji, Jingjing Li+4 more|arXiv (Cornell University)|Apr 12, 2023

Machine Learning and Data Classification被引用 9

一句话总结

本论文系统性地在自然图像、农业、制造、遥感和医疗等领域对 SAM 进行评估，强调在常见场景上的强泛化能力，但在需要大量先验知识的复杂、低对比度、医疗和工业领域存在显著局限性。

ABSTRACT

Recently, Meta AI Research approaches a general, promptable Segment Anything Model (SAM) pre-trained on an unprecedentedly large segmentation dataset (SA-1B). Without a doubt, the emergence of SAM will yield significant benefits for a wide array of practical image segmentation applications. In this study, we conduct a series of intriguing investigations into the performance of SAM across various applications, particularly in the fields of natural images, agriculture, manufacturing, remote sensing, and healthcare. We analyze and discuss the benefits and limitations of SAM, while also presenting an outlook on its future development in segmentation tasks. By doing so, we aim to give a comprehensive understanding of SAM's practical applications. This work is expected to provide insights that facilitate future research activities toward generic segmentation. Source code is publicly available.

研究动机与目标

• 评估 SAM 在多样化真实世界分割任务中的泛化能力。
• 识别 SAM 在自然图像、农业、制造、遥感和医疗保健中的优势与局限性。
• 提供在领域特定场景中应用 SAM 的实际见解与方向。

提出的方法

• 在 Everything 模式以及其他提示模式（点击/框）下对各数据集生成分割。
• 对 SAM 在显著对象/分割、伪装、透明度、阴影以及农业/工业/遥感图像等任务的输出进行定性分析。
• 在八项基准任务上以均值绝对误差（MAE）为评估指标，与任务特定的最新模型进行定量比较。
• 在多个预测掩模中，通过与真值的 IoU 选择最佳 SAM 掩模。
• 讨论提示与先验知识在取得良好结果中的作用。

Figure 2 : Application on salient object segmentation , where SAM 1/2/3 mean using Click, Box, and Everything modes respectively.

实验结果

研究问题

• RQ1 SAM 在常见自然图像与具有挑战性的真实场景中的泛化能力如何？
• RQ2 在需要详细分割、低对比度或专业领域知识（医疗/工业）的任务中，SAM 的局限性是什么？
• RQ3 提示选择与先验知识在跨领域影响 SAM 表现的程度如何？
• RQ4 是否可以有效改造或补充 SAM 以适用于遥感、农业和医疗保健等应用？

主要发现

• SAM 在常见场景上表现出色的泛化能力，以及在多提示模式下的强定位能力。
• 复杂场景（如作物分割、眼底成像）需要大量手动提示和先验知识，同时出现前景偏置。
• 低对比度或伪装对象降低了 SAM 的鲁棒性，在挑战性环境中仍有改进空间。
• 医疗和工业领域的专业数据揭示了盒子模式和自动模式的局限性，即使在强提示下也有不同程度的成功。
• 遥感和农业显示 SAM 能处理常规对象，但对较小或不规则的目标存在困难。
• 总体而言，SAM 在许多具有挑战性的任务上落后于专门的、应用特定的最新模型，表明需要专门化或领域特定的适配。

Figure 3 : Application on camouflaged object segmentation , where SAM 1/2/3 mean using Click, Box, and Everything modes respectively.