[论文解读] Training Like a Medical Resident: Context-Prior Learning Toward Universal Medical Image Segmentation

Yunhe Gao, Zhuowei Li+4 more|arXiv (Cornell University)|Jun 4, 2023

Radiomics and Machine Learning in Medical Imaging被引用 9

一句话总结

本文提出 Hermes，一种面向通用医疗影像分割的 oracle 引导的上下文先验学习方法，能够跨多样数据集、模态与任务实现通用分割，在性能和可扩展性方面优于传统的任务特定模型。

ABSTRACT

A major focus of clinical imaging workflow is disease diagnosis and management, leading to medical imaging datasets strongly tied to specific clinical objectives. This scenario has led to the prevailing practice of developing task-specific segmentation models, without gaining insights from widespread imaging cohorts. Inspired by the training program of medical radiology residents, we propose a shift towards universal medical image segmentation, a paradigm aiming to build medical image understanding foundation models by leveraging the diversity and commonality across clinical targets, body regions, and imaging modalities. Towards this goal, we develop Hermes, a novel context-prior learning approach to address the challenges of data heterogeneity and annotation differences in medical image segmentation. In a large collection of eleven diverse datasets (2,438 3D images) across five modalities (CT, PET, T1, T2 and cine MRI) and multiple body regions, we demonstrate the merit of the universal paradigm over the traditional paradigm on addressing multiple tasks within a single model. By exploiting the synergy across tasks, Hermes achieves state-of-the-art performance on all testing datasets and shows superior model scalability. Results on two additional datasets reveals Hermes' strong performance for transfer learning, incremental learning, and generalization to downstream tasks. Hermes's learned priors demonstrate an appealing trait to reflect the intricate relations among tasks and modalities, which aligns with the established anatomical and imaging principles in radiology. The code is available: https://github.com/yhygao/universal-medical-image-segmentation.

研究动机与目标

• 通过利用多样且部分标注的医疗数据集来推动通用医疗影像分割。
• 引入 Hermes，将任务先验和模态先验作为可学习的标记注入，引导分割。
• 展示单一通用模型在性能、迁移能力和可扩展性方面优于任务特定模型。
• 在涵盖身体解剖区域、模态及临床目标的七个数据集上评估 Hermes，并包含下游任务。
• 分析消融实验以识别提升性能的关键组件。

提出的方法

• 将通用分割定义为从具有不同感兴趣区域（ROI）和模态的多个数据集中学习。
• 引入 Hermes，使用任务先验池和模态先验池作为可学习的标记（oracle）。
• 通过双向注意力的先验融合模块将先验与骨干特征融合。
• 使用分层、多尺度的上下文先验，并通过跨数据集的混合批次进行训练。
• 利用 BCE 和 Dice 损失联合优化分割骨干网络和上下文先验。
• 在七个上游数据集和两个下游任务（迁移/增量/泛化）上进行评估。

实验结果

研究问题

• RQ1 来自不同 ROI 和模态的多样化任务是否能相互促进通用分割模型？
• RQ2 尽管解剖结构不同，是否可以在身体区域之间实现可迁移的表示？
• RQ3 模型是否能利用模态之间的共性来提升 CT 与 MRI 的性能？
• RQ4 在部分标注和异构数据下，任务先验和模态先验是否能改善分割？
• RQ5 通用训练如何影响迁移、增量学习和对新任务的泛化？

主要发现

Paradigm	Model	BCV	StructSeg	LiTS Tumor	KiTS Tumor	AMOS CT	AMOS MR	CHAOS	AVG
Traditional	nnUNet	84.23	88.53	64.91	81.72	88.79	85.49	91.34	83.57
Traditional	ResUNet	84.36	88.59	64.87	81.89	88.97	85.43	91.41	83.64
Universal	Hermes-R	85.78	89.43	67.66	85.26	89.59	86.70	92.02	85.20
Traditional	SwinUNETR	83.32	88.36	64.82	74.32	88.29	83.97	88.34	81.63
Traditional	MedFormer	84.61	89.04	66.24	82.09	89.45	85.58	91.85	84.12
Universal	Hermes-M	86.23	89.57	68.55	85.47	89.72	87.15	92.14	85.54

• Hermes 在七个数据集和两种骨干网络类型上，持续提升 Dice 分数，相较于传统的任务特定骨干。
• 在 Hermes 下，不同目标 ROI 之间互相提升彼此的性能。
• 观测到跨身体区域的表示可迁移性（从腹部到胸部）。
• 观察到跨模态的提升（在统一模型下 CT 与 MRI 均有提升）。
• 相较于传统范式，使用 Hermes 的通用训练在更大骨干网络时更具扩展性。
• 在下游任务中，Hermes 实现了强迁移、增量学习和泛化性能提升。