[论文解读] UniMed-CLIP: Towards a Unified Image-Text Pretraining Paradigm for Diverse Medical Imaging Modalities

Muhammad Uzair Khattak, Shahina Kunhimon+3 more|arXiv (Cornell University)|Dec 13, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

该论文提出UniMed-CLIP，一种在涵盖六种医学影像模态的530万张图像-文本对大规模开源数据集上预训练的统一视觉-语言模型。通过利用大语言模型从仅含标签的数据集中合成高质量描述，UniMed-CLIP实现了最先进的零样本性能，其准确率相比现有模型（包括在专有数据上训练的模型）最高提升12.61个百分点，且仅使用了三分之一的训练数据。

ABSTRACT

Vision-Language Models (VLMs) trained via contrastive learning have achieved notable success in natural image tasks. However, their application in the medical domain remains limited due to the scarcity of openly accessible, large-scale medical image-text datasets. Existing medical VLMs either train on closed-source proprietary or relatively small open-source datasets that do not generalize well. Similarly, most models remain specific to a single or limited number of medical imaging domains, again restricting their applicability to other modalities. To address this gap, we introduce UniMed, a large-scale, open-source multi-modal medical dataset comprising over 5.3 million image-text pairs across six diverse imaging modalities: X-ray, CT, MRI, Ultrasound, Pathology, and Fundus. UniMed is developed using a data-collection framework that leverages Large Language Models (LLMs) to transform modality-specific classification datasets into image-text formats while incorporating existing image-text data from the medical domain, facilitating scalable VLM pretraining. Using UniMed, we trained UniMed-CLIP, a unified VLM for six modalities that significantly outperforms existing generalist VLMs and matches modality-specific medical VLMs, achieving notable gains in zero-shot evaluations. For instance, UniMed-CLIP improves over BiomedCLIP (trained on proprietary data) by an absolute gain of +12.61, averaged over 21 datasets, while using 3x less training data. To facilitate future research, we release UniMed dataset, training codes, and models at https://github.com/mbzuai-oryx/UniMed-CLIP.

研究动机与目标

• 解决视觉-语言预训练中大规模、公开获取的医学图像-文本数据集稀缺的问题。
• 通过开发统一的多模态视觉-语言基础模型，克服模态特异性模型的局限性。
• 利用大语言模型实现可扩展、以数据为中心的预训练，将仅含标签的医学数据集转换为高质量的图像-文本对。
• 发布完全开源的数据集、训练代码和模型，以加速医学人工智能领域的公共研究。

提出的方法

• 开发了一种数据收集框架，利用大语言模型（LLMs）通过医学风格模板将各模态的图像-标签数据集转换为标准化的图像-文本对。
• 构建了UniMed，一个包含530万张图像-文本对的数据集，覆盖六种医学影像模态：X光、CT、MRI、超声、病理学和眼底成像。
• 基于MetaCLIP的ViT-B/16视觉编码器和BioMed-BERT文本编码器，微调了一个视觉-语言模型，采用对比学习目标。
• 使用16块A100 40GB GPU的多节点设置训练UniMed-CLIP，每GPU的批量大小为128，初始学习率为5e-5，学习率预热步数为2000。
• 通过GPT-4o进行提示工程，从疾病标签生成一致且临床合适的描述，确保描述质量。
• 将合成的图像-文本对与现有的公开医学视觉-语言模型数据结合，以提升多样性与表征质量。

实验结果

研究问题

• RQ1 仅使用开源数据，统一视觉-语言模型是否能在多种医学影像模态上实现强大的零样本泛化能力？
• RQ2 在合成的、由大语言模型生成的图像-文本对上训练的模型，其性能与在专有或小规模数据集上训练的模型相比如何？
• RQ3 大语言模型在多大程度上能有效将仅含标签的医学数据集转化为高质量、具有临床相关性的图像-文本对，以用于预训练？
• RQ4 在零样本和线性探测评估中，基于多模态数据训练的统一模型是否优于模态特异性模型？
• RQ5 采用大语言模型增强数据的数据中心方法，是否能在显著减少数据需求的情况下实现最先进性能？

主要发现

• 尽管仅使用了三分之一的训练数据，UniMed-CLIP在21个多样化医学数据集上的平均准确率相比在封闭数据上训练的BiomedCLIP提升了+12.61个百分点。
• 在PCam组织病理学数据集上，UniMed-CLIP在100%线性探测中达到85.97%的准确率，优于BiomedCLIP（83.40%）和PMC-CLIP（81.03%）。
• 在ACL-MRI数据集上，UniMed-CLIP在100%线性探测中达到97.28%的准确率，超过BiomedCLIP（83.84%）和CLIP（81.09%）。
• 在ODIR-2x300眼底成像数据集上，UniMed-CLIP在100%线性探测中达到95.00%的准确率，优于BiomedCLIP（94.17%）和CLIP（91.73%）。
• UniMed-CLIP在类别不平衡的数据集（包括CT、MRI和视网膜眼底成像）上保持了强大性能，展示了在数据分布偏斜条件下的稳健泛化能力。
• 该模型在所有六种模态上均实现了最先进的零样本性能，尤其在MediMeTA（CT）和FIVES（眼底）等具有挑战性的数据集上，相比先前模型有显著提升。