[论文解读] Towards Unifying Medical Vision-and-Language Pre-training via Soft Prompts

Zhihong Chen, Shizhe Diao+3 more|arXiv (Cornell University)|Feb 17, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出PTUnifier，一种统一的医学视觉-语言预训练框架，通过使用可学习的视觉和文本软提示（soft prompts），使单一模型能够处理仅图像、仅文本以及图像-文本对输入。通过融合双编码器（dual-encoder）和融合编码器（fusion-encoder）范式的目标——借助提示池（prompt pool）实现可扩展性——该方法在无需任务特定微调的情况下，在单模态、跨模态和多模态医学任务中均实现了最先进（SOTA）性能。

ABSTRACT

Medical vision-and-language pre-training (Med-VLP) has shown promising improvements on many downstream medical tasks owing to its applicability to extracting generic representations from medical images and texts. Practically, there exist two typical types, extit{i.e.}, the fusion-encoder type and the dual-encoder type, depending on whether a heavy fusion module is used. The former is superior at multi-modal tasks owing to the sufficient interaction between modalities; the latter is good at uni-modal and cross-modal tasks due to the single-modality encoding ability. To take advantage of these two types, we propose an effective yet straightforward scheme named PTUnifier to unify the two types. We first unify the input format by introducing visual and textual prompts, which serve as a feature bank that stores the most representative images/texts. By doing so, a single model could serve as a extit{foundation model} that processes various tasks adopting different input formats ( extit{i.e.}, image-only, text-only, and image-text-pair). Furthermore, we construct a prompt pool (instead of static ones) to improve diversity and scalability. Experimental results show that our approach achieves state-of-the-art results on a broad range of tasks, spanning uni-modal tasks ( extit{i.e.}, image/text classification and text summarization), cross-modal tasks ( extit{i.e.}, image-to-text generation and image-text/text-image retrieval), and multi-modal tasks ( extit{i.e.}, visual question answering), demonstrating the effectiveness of our approach. Note that the adoption of prompts is orthogonal to most existing Med-VLP approaches and could be a beneficial and complementary extension to these approaches.

研究动机与目标

• 解决现有医学视觉-语言预训练模型的局限性：这些模型要么属于融合编码器类型，要么属于双编码器类型，各自在特定任务类型上表现优异，但无法同时兼顾两者。
• 将融合编码器和双编码器模型的能力统一到单一、兼容的架构中，以支持多种输入格式（如仅图像、仅文本、图像-文本对）。
• 通过引入提示池而非静态提示，提升模型的可扩展性和表征多样性。
• 使模型在无需架构或任务特定修改的情况下，有效执行单模态（如图像/文本分类）、跨模态（如检索）和多模态（如VQA）任务。
• 提供一种轻量级、与架构无关的扩展方法，与现有医学视觉-语言预训练（Med-VLP）方法正交且互补，从而增强其适用性。

提出的方法

• 引入视觉和文本软提示作为统一的输入格式，将仅图像、仅文本以及图像-文本输入转换为统一的表征空间。
• 构建模态特定的提示池（视觉和文本提示池），用于存储代表性嵌入，实现根据输入类型动态选择提示。
• 通过结合多种目标进行统一模型的预训练：来自融合编码器的掩码语言建模（MLM）和图像-文本匹配（ITM），以及来自双编码器的图像-文本对比（ITC）目标。
• 利用提示池注入模态特定的归纳偏置，使同一主干模型能够通过无需架构变更的方式适应不同输入类型。
• 在三个大规模医学数据集（ROCO、MedICaT 和 MIMIC-CXR）上进行训练，以学习适用于下游任务的通用表征。
• 在无需为特定任务微调的情况下，将统一模型应用于多种任务，依赖提示驱动的适应机制和共享表征学习。

Figure 1: (a) Illustrations of two Med-VLP paradigms and their advantages (pointed by green arrows) and disadvantages (pointed by red arrows) in downstream tasks; (b) The overall architecture of our proposed approach, where the backbone models share the same parameters, and we duplicate them for ill

实验结果

研究问题

• RQ1 一个单一的医学视觉-语言预训练模型是否能通过统一框架有效处理仅图像、仅文本以及图像-文本对输入？
• RQ2 结合融合编码器和双编码器范式的目标是否能提升在多样化医学视觉-语言任务中的性能？
• RQ3 与静态提示相比，提示池机制是否能增强模型的可扩展性和表征多样性？
• RQ4 所提出方法在单模态、跨模态和多模态基准测试中，相对于任务特定模型或现有Med-VLP方法的性能提升程度如何？
• RQ5 所提出方法是否与现有Med-VLP架构正交且互补，从而在无需重新设计架构的情况下实现更广泛的应用？

主要发现

• PTUnifier在所有评估任务中均达到最先进性能，包括图像分类（CheXpert数据集上88.7% AUROC）、文本分类（89.0% AUROC）以及多模态VQA（80.0%准确率）。
• 使用所有目标（MLM、ITM、ITC）预训练的模型在所有基准测试中表现最佳，证明了融合编码器与双编码器目标结合具有互补优势。
• 在MIMIC-CXR数据集上，PTUnifier在开放式VQA中达到84.6%准确率，在封闭式VQA中达到78.3%，优于先前方法如R2Gen和WGSum。
• 即使仅使用1%的训练数据，仅通过ITC目标预训练的模型在封闭式VQA中仍达到10.7%准确率，展现出强大的 few-shot（少样本）泛化能力。
• ITC目标显著提升了仅视觉和跨模态任务的性能，但对仅文本分类无提升，表明模态间存在非对称监督。
• 消融研究证实，结合MLM、ITM和ITC目标可实现最强的迁移性能，验证了统一两种范式的有效性。