[论文解读] Universal Model for 3D Medical Image Analysis.

Xiaoman Zhang, Ya Zhang+2 more|arXiv (Cornell University)|Oct 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用 5

一句话总结

该论文提出Universal Model，一种用于医学图像分析的自监督3D预训练模型，通过统一框架从无标签数据中学习多模态、多区域表征。该模型通过模态不变的对抗学习和尺度分类器，在五个下游任务中实现了卓越的泛化性能，其准确率、鲁棒性和收敛速度均优于现有模型。

ABSTRACT

Deep Learning-based methods recently have achieved remarkable progress in medical image analysis, but heavily rely on massive amounts of labeled training data. Transfer learning from pre-trained models has been proposed as a standard pipeline on medical image analysis to address this bottleneck. Despite their success, the existing pre-trained models are mostly not tuned for multi-modal multi-task generalization in medical domains. Specifically, their training data are either from non-medical domain or in single modality, failing to attend to the problem of performance degradation with cross-modal transfer. Furthermore, there is no effort to explicitly extract multi-level features required by a variety of downstream tasks. To overcome these limitations, we propose Universal Model, a transferable and generalizable pre-trained model for 3D medical image analysis. A unified self-supervised learning scheme is leveraged to learn representations from multiple unlabeled source datasets with different modalities and distinctive scan regions. A modality invariant adversarial learning module is further introduced to improve the cross-modal generalization. To fit a wide range of tasks, a simple yet effective scale classifier is incorporated to capture multi-level visual representations. To validate the effectiveness of the Universal Model, we perform extensive experimental analysis on five target tasks, covering multiple imaging modalities, distinctive scan regions, and different analysis tasks. Compared with both public 3D pre-trained models and newly investigated 3D self-supervised learning methods, Universal Model demonstrates superior generalizability, manifested by its higher performance, stronger robustness and faster convergence. The pre-trained Universal Model is available at: \href{https://github.com/xm-cmic/Universal-Model}{this https URL}.

研究动机与目标

• 解决现有医学图像预训练模型的局限性，这些模型通常在非医学数据或单一模态上进行训练，导致在跨模态迁移中性能下降。
• 通过自监督表征学习实现有效的迁移学习，克服3D医学图像分析中对大规模标注数据的依赖瓶颈。
• 通过显式捕捉不同成像模态和扫描区域的多层次视觉特征，提升在多样化下游任务中的泛化能力。
• 开发一个统一框架，整合模态不变的表征学习与可扩展的特征提取，以实现医学影像中的广泛适用性。
• 在多种成像模态、扫描区域和分析任务中证明该模型的有效性，确立其稳健性和可迁移性。

提出的方法

• 利用统一的自监督学习方案，在涵盖不同成像模态（如CT、MRI）和解剖区域的多个无标签3D医学数据集上预训练模型。
• 引入模态不变的对抗学习模块，通过最小化域偏移来对齐不同模态的特征，提升跨模态泛化能力。
• 引入尺度分类器，通过预测不同空间尺度下的特征来捕捉多层次视觉表征，提升多样化任务的特征丰富度。
• 使用来自源数据集的裁剪和增强3D小块，通过对比学习目标端到端训练模型，以学习判别性和可迁移的特征。
• 采用多分支架构处理来自不同模态的输入，同时在共享编码器中共享参数，以实现模态不变的特征学习。
• 在下游任务上使用标准监督学习对预训练模型进行微调，仅需少量标注数据，实现快速收敛和高性能。

实验结果

研究问题

• RQ1 一个单一的预训练3D模型是否能在无需任务特定微调的情况下，有效泛化到多种医学成像模态和扫描区域？
• RQ2 模态不变的对抗学习在3D医学图像分析中如何提升跨模态迁移性能？
• RQ3 通过尺度分类器实现的多层次特征提取，在多样化医学图像任务中在多大程度上提升了下游任务性能？
• RQ4 与现有3D自监督和预训练模型相比，所提出的Universal Model在泛化能力、鲁棒性和收敛速度方面表现如何？
• RQ5 当标注数据稀缺时，该模型是否仍能通过极少的微调实现强下游任务性能？

主要发现

• Universal Model在五个多样化下游任务（包括分割、分类和检测）中均达到最先进性能，覆盖多种成像模态和解剖区域。
• 与现有3D预训练模型相比，该模型在域偏移和模态不匹配方面表现出更强的鲁棒性，尤其在跨模态迁移场景中。
• 在下游任务微调过程中，其收敛速度优于公开的3D预训练模型和新提出的自监督方法，表明其具备高效的迁移学习能力。
• 模态不变的对抗学习组件显著减少了跨模态设置下的性能下降，提升了不同成像对比度之间的泛化能力。
• 尺度分类器有效捕捉了分层特征，有助于提升需要多尺度理解解剖结构的任务性能。
• 在所有评估任务中，预训练模型的平均Dice分数和分类准确率均高于基线模型，证实其卓越的泛化能力和可迁移性。