[论文解读] Polyp-SAM++: Can A Text Guided SAM Perform Better for Polyp Segmentation?

Risab Biswas|arXiv (Cornell University)|Aug 12, 2023

Radiomics and Machine Learning in Medical Imaging被引用 9

一句话总结

本论文研究使用文本引导的 SAM（Polyp-SAM++）进行息肉分割，并将其性能与未提示的 SAM 以及多种基线在三个结肠镜检查数据集上进行比较。

ABSTRACT

Meta recently released SAM (Segment Anything Model) which is a general-purpose segmentation model. SAM has shown promising results in a wide variety of segmentation tasks including medical image segmentation. In the field of medical image segmentation, polyp segmentation holds a position of high importance, thus creating a model which is robust and precise is quite challenging. Polyp segmentation is a fundamental task to ensure better diagnosis and cure of colorectal cancer. As such in this study, we will see how Polyp-SAM++, a text prompt-aided SAM, can better utilize a SAM using text prompting for robust and more precise polyp segmentation. We will evaluate the performance of a text-guided SAM on the polyp segmentation task on benchmark datasets. We will also compare the results of text-guided SAM vs unprompted SAM. With this study, we hope to advance the field of polyp segmentation and inspire more, intriguing research. The code and other details will be made publically available soon at https://github.com/RisabBiswas/Polyp-SAM++.

研究动机与目标

• 评估文本提示是否能提高 SAM 对结肠息肉图像的分割准确性。
• 与未提示的 SAM 及最先进的息肉分割模型进行定量比较。
• 分析定性结果以了解在多样的息肉外观和成像条件下的鲁棒性。

提出的方法

• 使用 GroundingDINO 以聚焦息肉的提示生成文本引导的边界框。
• 将边界框输入 SAM 以获得分割掩码。
• 在三个数据集上使用平均 Dice 值（mDice）、平均 IoU（mIoU）和 F-measure（Fm）进行评估。
• 将 Polyp-SAM++ 与 CNN/ViT 基线及其他基于 SAM 的息肉方法进行比较。
• 分析 Polyp-SAM++ 失败的案例并讨论潜在改进。

Figure 1 : Overview of the Polyp-SAM++ Architecture

实验结果

研究问题

• RQ1 文本引导提示策略是否能相比未提示的 SAM 提高基于 SAM 的息肉分割？
• RQ2 相对于标准数据集上的传统息肉分割模型，Polyp-SAM++ 的表现如何？
• RQ3 文本引导的 SAM 在息肉分割中的定性优势与失败模式是什么？

主要发现

方法	CVC-ClinicDB mDice	CVC-ClinicDB mIoU	CVC-ClinicDB Fm	Kvasir-SEG mDice	Kvasir-SEG mIoU	Kvasir-SEG Fm	CVC-300 mDice	CVC-300 mIoU	CVC-300 Fm
UNet	0.82	0.75	0.81	0.81	0.746	0.79	0.71	0.62	0.68
UNet++	0.79	0.72	0.78	0.82	0.74	0.80	0.70	0.62	0.68
SFA	0.70	0.60	0.64	0.72	0.61	0.67	0.46	0.32	0.34
PraNet	0.89	0.84	0.89	0.89	0.84	0.88	0.87	0.79	0.84
ACSNet	0.88	0.82	0.87	0.89	0.83	0.88	0.86	0.78	0.82
MSEG	0.90	0.86	0.90	0.89	0.83	0.88	0.87	0.80	0.85
DCRNet	0.89	0.84	0.89	0.88	0.82	0.86	0.85	0.78	0.83
EU-Net	0.90	0.84	0.89	0.90	0.85	0.89	0.83	0.76	0.80
SANet	0.91	0.85	0.90	0.90	0.84	0.89	0.88	0.81	0.80
MSNet	0.91	0.86	0.91	0.90	0.84	0.89	0.86	0.79	0.84
C2FNet	0.91	0.87	0.90	0.88	0.83	0.87	0.87	0.80	0.92
LDNet	0.88	0.82	0.87	0.88	0.82	0.86	0.86	0.79	0.84
FAPNet	0.92	0.87	0.91	0.90	0.84	0.89	0.89	0.82	0.87
CFA-Net	0.93	0.88	0.92	0.91	0.86	0.90	0.89	0.82	0.87
Polyp-PVT	0.94	0.90	0.95	0.91	0.86	0.91	0.90	0.93	0.88
HSNet	0.93	0.88	0.93	0.92	0.87	0.91	0.90	0.83	0.88
Polyp-SAM	0.92	0.87	-	0.90	0.86	-	0.92	0.88	-
SAM-H	0.54	0.50	0.54	0.77	0.70	0.76	0.65	0.60	0.65
SAM-L	0.57	0.52	0.56	0.78	0.71	0.77	0.72	0.67	0.72
Polyp-SAM++	0.91	0.86	0.91	0.90	0.86	0.92	0.73	0.69	0.73

• Polyp-SAM++ 在三个基准数据集上与最先进的息肉方法具有竞争力的性能。
• 文本引导定位有助于 SAM 提供更准确的息肉分割，通过改进定位。
• Polyp-SAM++ 在多个数据集的若干指标上优于未提示的 SAM，但在具有挑战性的案例中仍有失败。
• 定性结果显示 GroundingDINO + SAM 在多种场景下具有鲁棒性，并讨论了可辨认的失败示例。

Figure 2 : Bounding Box created based on the Text-Prompt by GroundingDINO.