[论文解读] RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training

Zheng Yuan, Qiao Jin+5 more|arXiv (Cornell University)|Mar 1, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出RAMM，一种检索增强型生物医学视觉问答框架，利用新型基于患者的图文数据集（PMCPM）和检索注意力机制，提升在有限生物医学VQA数据上的性能。通过使用对比表示学习从PubMed检索语义相似的图文对，并利用新型注意力模块进行融合，RAMM在Med-VQA2019、Med-VQA2021、VQARAD和SLAKE上均取得最先进结果，得分分别为82.13、39.20、78.27和86.05。

ABSTRACT

Vision-and-language multi-modal pretraining and fine-tuning have shown great success in visual question answering (VQA). Compared to general domain VQA, the performance of biomedical VQA suffers from limited data. In this paper, we propose a retrieval-augmented pretrain-and-finetune paradigm named RAMM for biomedical VQA to overcome the data limitation issue. Specifically, we collect a new biomedical dataset named PMCPM which offers patient-based image-text pairs containing diverse patient situations from PubMed. Then, we pretrain the biomedical multi-modal model to learn visual and textual representation for image-text pairs and align these representations with image-text contrastive objective (ITC). Finally, we propose a retrieval-augmented method to better use the limited data. We propose to retrieve similar image-text pairs based on ITC from pretraining datasets and introduce a novel retrieval-attention module to fuse the representation of the image and the question with the retrieved images and texts. Experiments demonstrate that our retrieval-augmented pretrain-and-finetune paradigm obtains state-of-the-art performance on Med-VQA2019, Med-VQA2021, VQARAD, and SLAKE datasets. Further analysis shows that the proposed RAMM and PMCPM can enhance biomedical VQA performance compared with previous resources and methods. We will open-source our dataset, codes, and pretrained model.

研究动机与目标

• 为解决生物医学视觉问答（VQA）中的数据稀缺问题，该问题限制了模型泛化能力并增加了过拟合风险。
• 开发一种检索增强的预训练与微调范式，利用外部生物医学文献丰富训练信号。
• 从PubMed构建一个高质量、以患者为中心的图文数据集（PMCPM），以支持生物医学多模态预训练和检索。
• 设计一种新型检索注意力模块，在微调过程中有效融合检索到的图文对与输入图像和问题。
• 证明从多样化、高质量文献源中检索可提升VQA性能，超越在现有数据集上的标准微调。

提出的方法

• 提出PMCPM，一个从PubMed Central收集的大规模、基于患者的图文数据集，包含多样的放射科图像及其对应的临床描述。
• 使用三种目标对多模态模型进行预训练：掩码语言建模、图文匹配和图文对比学习（ITC），以对齐视觉与文本表征。
• 利用预训练阶段的ITC嵌入，为每个输入VQA样本从PMCPM、ROCO和MIMIC-CXR中检索语义相似的图文对。
• 引入检索注意力模块，同时关注输入图像和问题以及检索到的图文对的表征，以生成增强的上下文表征。
• 使用融合后的表征进行微调以预测答案，实现在检索文献中的知识迁移。
• 采用动态检索数量策略，消融实验表明在2–4对检索图文对时性能最优，避免过多检索带来的噪声。

Figure 1 : Example of a similar image whose text includes helpful information for answering biomedical questions. The left part is a biomedical-related question with a provided image. The right part is a similar image in PubMed with a relevant caption that indicates the answer (text in red) to the q

实验结果

研究问题

• RQ1 通过检索外部生物医学文献，能否提升在低资源生物医学VQA数据集上的性能？
• RQ2 与ROCO和MIMIC-CXR等现有数据集相比，新构建的以患者为中心的图文数据集（PMCPM）在支持生物医学VQA方面效果如何？
• RQ3 通过检索注意力机制融合检索到的图文对，是否能带来比标准微调更高的答案准确率？
• RQ4 为提升VQA性能，检索图文对的最优数量是多少，才能在不引入噪声的前提下实现性能增益？
• RQ5 检索到的文本在多大程度上包含生物医学VQA问题的答案？这种包含程度在不同数据集间有何差异？

主要发现

• RAMM在Med-VQA2019上取得82.13的得分，达到最先进性能，超越先前方法。
• 在Med-VQA2021上，RAMM取得39.20的得分，展现出在具有挑战性的开放式生物医学VQA任务中的强大性能。
• 在VQARAD数据集上，RAMM获得78.27的得分，表明其在处理放射科特定VQA任务方面表现有效。
• 在SLAKE数据集上，RAMM取得86.05的得分，其中封闭式问题的得分高达91.59，显示出强大的泛化能力。
• 消融研究证实，PMCPM数据集和检索增强微调机制均显著提升模型性能。
• 从PMCPM检索的内容贡献了29.6%至38.7%的答案可直接在检索文本中找到，验证了检索策略的有效性。

Figure 2 : The workflow of our proposed retrieval-augmented paradigm RAMM for biomedical VQA. The origin image is from VQA datasets, and the other images are retrieved. Blue lines represent retrieving image-text pairs (PMCID:4061445, 2278144, 4725742, and 3616602) from PMCPM, ROCO, and MIMIC-CXR dat