[论文解读] Unleashing the Potential of SAM2 for Biomedical Images and Videos: A Survey

Yichi Zhang, Zhenrong Shen|arXiv (Cornell University)|Aug 23, 2024

Image Processing Techniques and Applications被引用 4

一句话总结

本综述探讨了将SAM2——一种用于提示驱动图像与视频分割的基础模型——适配并应用于生物医学图像与视频的适应性与应用。它评估了SAM2在多种医学影像任务中的零样本与微调性能，突出其在减轻标注负担方面的潜力，并指出通过微调进行领域适应是弥合自然图像与医学图像分布差异、实现可靠临床部署的关键。

ABSTRACT

The unprecedented developments in segmentation foundational models have become a dominant force in the field of computer vision, introducing a multitude of previously unexplored capabilities in a wide range of natural images and videos. Specifically, the Segment Anything Model (SAM) signifies a noteworthy expansion of the prompt-driven paradigm into the domain of image segmentation. The recent introduction of SAM2 effectively extends the original SAM to a streaming fashion and demonstrates strong performance in video segmentation. However, due to the substantial distinctions between natural and medical images, the effectiveness of these models on biomedical images and videos is still under exploration. This paper presents an overview of recent efforts in applying and adapting SAM2 to biomedical images and videos. The findings indicate that while SAM2 shows promise in reducing annotation burdens and enabling zero-shot segmentation, its performance varies across different datasets and tasks. Addressing the domain gap between natural and medical images through adaptation and fine-tuning is essential to fully unleash SAM2's potential in clinical applications. To support ongoing research endeavors, we maintain an active repository that contains up-to-date SAM & SAM2-related papers and projects at https://github.com/YichiZhang98/SAM4MIS.

研究动机与目标

• 评估SAM2在多种生物医学图像与视频数据集上的零样本与少样本分割效果。
• 识别由于自然图像（SAM2预训练所用）与医学图像（低对比度、边界微弱）之间存在的领域差距所带来的挑战。
• 通过将3D医学影像视为2D切片序列，评估SAM2在3D医学影像上的性能。
• 调研近期的适应策略，如微调、提示优化以及面向医学应用场景的专用架构。
• 全面概述SAM2在临床应用中的潜力与局限性，包括手术视频与病理影像。

提出的方法

• 将3D医学影像视为2D切片序列，以利用SAM2的视频分割能力。
• 通过点击、边界框或分割提示等提示机制进行推理，引导SAM2生成掩码。
• 利用SAM2的流式记忆机制，保持视频帧之间的时序一致性。
• 在医学数据集上实施领域特定的微调，以缩小自然图像与医学图像之间的领域差距。
• 集成专用模块，如SAM2-PATH中的KAN分类器或SurgSAM-2中的高效帧剪枝（Efficient Frame Pruning），以提升性能。
• 维护一个公开的代码库（https://github.com/YichiZhang98/SAM4MIS），用于追踪和组织与SAM及SAM2相关的生物医学研究。

实验结果

研究问题

• RQ1 与监督模型相比，SAM2在生物医学图像与视频上的零样本分割表现如何？
• RQ2 通过将3D医学影像视为2D切片序列，SAM2在有效分割3D医学影像方面能达到何种程度？
• RQ3 由于图像特性差异（如低对比度、边界微弱），直接将SAM2应用于医学图像时面临哪些关键挑战？
• RQ4 微调与架构适应在提升SAM2在医学分割任务中性能方面的有效性如何？
• RQ5 在临床领域（如手术视频、结肠镜检查与数字病理学）中，哪些最具前景的应用特定适应策略被提出？

主要发现

• SAM2在医学视频分割任务中展现出强大的零样本性能，在某些情况下其结果接近最先进模型。
• 在2D与3D医学影像上的性能在不同数据集间差异显著，与监督方法相比存在明显差距，尤其是在低对比度或边界微弱区域。
• 微调与领域特定适应（如BioSAM2、MedSAM-2、SAM2-PATH）显著提升了分割准确率，并降低了对人工提示的依赖。
• MedSAM-2中的单提示分割能力可实现仅用一个提示在多幅图像中一致分割同一解剖结构。
• 使用SAM2进行手术视频分割是可行的，但受现实世界伪影（如出血、遮挡、运动模糊）的挑战影响。
• SAM2在视频任务中的表现显著优于静态图像分割，这归因于自然图像与医学视频数据之间领域差距更小。