[论文解读] TriSAM: Tri-Plane SAM for zero-shot cortical blood vessel segmentation in VEM images

Jia Wan, Wanhua Li+7 more|arXiv (Cornell University)|Jan 25, 2024

Advanced Electron Microscopy Techniques and Applications被引用 6

一句话总结

TriSAM 提出一种针对 VEM 图像的零-shot三维血管分割方法，通过提升 SAM到 Tri-Plane 跟踪框架，并提供 BvEM 作为皮质血管的大型公开基准。它在不进行模型训练的情况下，在鼠、猕猴和人类数据集上实现了最先进的零-shot性能。

ABSTRACT

While imaging techniques at macro and mesoscales have garnered substantial attention and resources, microscale Volume Electron Microscopy (vEM) imaging, capable of revealing intricate vascular details, has lacked the necessary benchmarking infrastructure. In this paper, we address a significant gap in this field of neuroimaging by introducing the first-in-class public benchmark, BvEM, designed specifically for cortical blood vessel segmentation in vEM images. Our BvEM benchmark is based on vEM image volumes from three mammals: adult mouse, macaque, and human. We standardized the resolution, addressed imaging variations, and meticulously annotated blood vessels through semi-automatic, manual, and quality control processes, ensuring high-quality 3D segmentation. Furthermore, we developed a zero-shot cortical blood vessel segmentation method named TriSAM, which leverages the powerful segmentation model SAM for 3D segmentation. To extend SAM from 2D to 3D volume segmentation, TriSAM employs a multi-seed tracking framework, leveraging the reliability of certain image planes for tracking while using others to identify potential turning points. This approach effectively achieves long-term 3D blood vessel segmentation without model training or fine-tuning. Experimental results show that TriSAM achieved superior performances on the BvEM benchmark across three species. Our dataset, code, and model are available online at \url{https://jia-wan.github.io/bvem}.

研究动机与目标

• 汇编并标准化一个大型公开的三维 VEM 基准（BvEM），用于跨鼠、猕猴和人类的皮质血管分割。
• 开发一个零-shot 三维分割方法，使 SAM 能在不训练或微调的情况下提升到三维 VEM 体积。
• 通过利用多平面信息和转折点引导，解决 VEM 中的三维跟踪挑战。

提出的方法

• 将三维分割表述为一个使用 SAM、无需标注数据的多种子跟踪问题。
• 引入 Tri-Plane 选择，根据血管流向和 SAM 置信度来选择最佳跟踪平面。
• 在所选平面上应用基于 SAM 的跟踪，提示语从增长中的分割更新。
• 引入递归重定向以识别转折点，并实现跨切片的长期三维跟踪。
• 使用全局阈值分割得到的初始种子，并跨平面组合种子以实现最终分割。

实验结果

研究问题

• RQ1 如何在无需微调的情况下，将像 SAM 这样的零-shot 分割模型扩展到三维 VEM 体积？
• RQ2 Tri-Plane 选择是否提升三维体积中血管结构的长期跟踪稳定性？
• RQ3 递归重定向是否能有效捕捉血管转折点，以提升三维血管连续性？
• RQ4 TriSAM 在跨物种（鼠、猕猴、人大）的大型三维 VEM 基准上的表现如何？

主要发现

• TriSAM 在 BvEM 基准上，在鼠、猕猴和人类数据中表现优越。
• Tri-Plane 选择显著优于单平面跟踪，提高准确性。
• 递归重定向在重定向策略中带来最佳整体准确度。
• MobileSAM 在此三维设定下提供更快的推理速度和比原始 SAM 更好的准确性。