[论文解读] Vision Foundation Models for Computed Tomography

Suraj Pai, Ibrahim Hadžić+6 more|ArXiv.org|Jan 15, 2025

Advanced X-ray and CT Imaging被引用 4

一句话总结

该论文提出了 CT-FM，一种在 148,000 份 CT 扫描上通过标签无关对比学习进行预训练的大规模 3D CT 基础模型，并在分割、分流、检索和语义理解等任务上展现出强劲表现。它还强调解剖聚类、鲁棒性和可解释性，并提供开源权重、代码和数据。

ABSTRACT

Foundation models (FMs) have shown transformative potential in radiology by performing diverse, complex tasks across imaging modalities. Here, we developed CT-FM, a large-scale 3D image-based pre-trained model designed explicitly for various radiological tasks. CT-FM was pre-trained using 148,000 computed tomography (CT) scans from the Imaging Data Commons through label-agnostic contrastive learning. We evaluated CT-FM across four categories of tasks, namely, whole-body and tumor segmentation, head CT triage, medical image retrieval, and semantic understanding, showing superior performance against state-of-the-art models. Beyond quantitative success, CT-FM demonstrated the ability to cluster regions anatomically and identify similar anatomical and structural concepts across scans. Furthermore, it remained robust across test-retest settings and indicated reasonable salient regions attached to its embeddings. This study demonstrates the value of large-scale medical imaging foundation models and by open-sourcing the model weights, code, and data, aims to support more adaptable, reliable, and interpretable AI solutions in radiology.

研究动机与目标

• 在放射学和 CT 成像中激励基础模型的使用。
• 开发一个在标签无关数据上预训练的大规模 3D CT 基础模型（CT-FM）。
• 评估 CT-FM 在多种放射学任务上的性能与鲁棒性。
• 展示 CT-FM 嵌入的解剖聚类性与可解释性。
• 通过公布模型权重、代码和数据推动开放科学。

提出的方法

• 在 Imaging Data Commons 的 148,000 份 CT 扫描上对大型 3D CT 模型（CT-FM）进行预训练。
• 使用标签无关的对比学习来学习 CT 体积的表征。
• 在四类任务上评估 CT-FM：全身和肿瘤分割、头部 CT 分诊、医学影像检索、语义理解。
• 分析嵌入空间以观察解剖聚类与跨扫描的概念相似性。
• 评估在测试-再测试设置中的鲁棒性并识别与嵌入相关的显著区域。
• 开源模型权重、代码和数据以支持可重复性和更广泛的使用。

实验结果

研究问题

• RQ1 一个通过标签无关对比学习训练的 3D CT 基础模型是否能够在多种放射学任务中达到或超过最先进水平？
• RQ2 CT-FM 是否具有鲁棒且可解释的嵌入，包括解剖聚类和跨扫描的概念相似性？
• RQ3 CT-FM 在测试-再测试设置及不同临床任务中的泛化性与可靠性如何？
• RQ4 开源 CT-FM 资源对可重复性和下游放射学 AI 开发有何影响？

主要发现

• CT-FM 在分割、分诊、检索和语义理解等任务上，性能优于最先进模型。
• 模型嵌入在解剖上聚类，并跨扫描捕捉到相似的概念。
• CT-FM 在测试-再测试情景中表现出鲁棒性。
• 嵌入对显著区域具有合理的显著性，与有意义的解剖区域对应。
• 开源 CT-FM 的权重、代码和数据有助于更具适应性且可解释的放射学 AI。