[论文解读] Towards Foundation Models Learned from Anatomy in Medical Imaging via Self-Supervision

Mohammad Reza Hosseinzadeh Taher, Michael B. Gotway+1 more|arXiv (Cornell University)|Sep 27, 2023

AI in cancer detectionComputer Science被引用 3

一句话总结

本文提出 Adam，一种用于医学影像的自监督基础模型，通过从粗到细的分层对比学习策略学习解剖层次结构。通过将解剖结构的局部性和组合性编码到密集嵌入（Eve）中，Adam 在少样本分割任务中达到最先进性能，相比先前的自监督学习方法准确率提升 9%–30%，同时提高标注效率。

ABSTRACT

Human anatomy is the foundation of medical imaging and boasts one striking characteristic: its hierarchy in nature, exhibiting two intrinsic properties: (1) locality: each anatomical structure is morphologically distinct from the others; and (2) compositionality: each anatomical structure is an integrated part of a larger whole. We envision a foundation model for medical imaging that is consciously and purposefully developed upon this foundation to gain the capability of "understanding" human anatomy and to possess the fundamental properties of medical imaging. As our first step in realizing this vision towards foundation models in medical imaging, we devise a novel self-supervised learning (SSL) strategy that exploits the hierarchical nature of human anatomy. Our extensive experiments demonstrate that the SSL pretrained model, derived from our training strategy, not only outperforms state-of-the-art (SOTA) fully/self-supervised baselines but also enhances annotation efficiency, offering potential few-shot segmentation capabilities with performance improvements ranging from 9% to 30% for segmentation tasks compared to SSL baselines. This performance is attributed to the significance of anatomy comprehension via our learning strategy, which encapsulates the intrinsic attributes of anatomical structures-locality and compositionality-within the embedding space, yet overlooked in existing SSL methods. All code and pretrained models are available at https://github.com/JLiangLab/Eden.

研究动机与目标

• 开发一种医学影像基础模型，明确从解剖层次结构——局部性和组合性——中学习，而非依赖通用自监督方法。
• 解决自监督学习在医学影像中的空白，当前方法未能捕捉人体解剖结构与语义基础。
• 通过训练生成语义有意义、解剖感知嵌入的模型，提升少样本分割与标注效率。
• 通过新型评估指标衡量嵌入空间中的局部性与组合性，验证模型对解剖结构的理解能力。

提出的方法

• 一种分层对比学习框架，在预训练过程中逐步从粗到细地分解解剖结构。
• 利用解剖结构分解器从医学影像中生成多尺度图像块，实现从粗到细的解剖部分学习。
• 采用有目的的剪枝器过滤对比记忆库中的噪声负样本对，提升特征可区分性。
• 采用对比学习目标，促使不同患者和尺度下相同解剖结构的嵌入尽可能一致。
• 该模型名为 Adam，生成保留局部性与组合性的密集语义丰富嵌入（Eve）。
• 该框架在 9 项下游任务上进行评估，并适配于眼底照相图像，证明其在不同模态间的泛化能力。

实验结果

研究问题

• RQ1 自监督学习能否被重构，以显式学习医学影像中人体解剖的层次结构？
• RQ2 将解剖局部性与组合性编码到学习嵌入中，是否能提升医学图像分割任务的下游性能？
• RQ3 在无显式解剖监督的情况下，自监督模型在多大程度上可实现与全监督模型相当的少样本分割性能？
• RQ4 从粗到细的学习策略如何影响模型捕捉解剖结构表征的能力？
• RQ5 所提方法能否在不同医学影像模态（如胸部 X 光片与眼底照相）间实现泛化？

主要发现

• Adam 在少样本分割任务中超越了最先进的自监督与全监督基线模型，在多个数据集上性能提升达 9%–30%。
• Adam 的嵌入空间表现出强局部性，t-SNE 可视化显示不同解剖结构形成清晰分离的聚类，而基线模型则无此特征。
• Adam 的嵌入保留了组合性，整体解剖图像块与子图像块聚合表示之间的平均余弦相似度接近 1，显著优于基线模型。
• 消融研究证实，从粗到细学习策略中提升数据粒度可一致提升下游性能，验证了分层方法的有效性。
• 有目的的剪枝器显著提升了模型性能，通过减少噪声对比样本对，证实其在提升特征可区分性方面的作用。
• 该方法可泛化至眼底照相图像，在 EyePACS 数据集上实现 1.4% 的血管分割性能提升（p < 0.05），优于表现最佳的自监督基线模型。