[论文解读] Visual Question Answering in the Medical Domain

Louisa Canepa, Sonit Singh+1 more|arXiv (Cornell University)|Sep 20, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出了一种针对医学视觉问答（Med-VQA）的领域特定预训练策略，重点在于图像和问题编码器的预训练，以提升在小规模医学数据集上的性能。该研究系统评估了模型组件，发现由于过拟合风险，简单架构的表现优于复杂架构，并利用GradCAM实现可解释性，在VQA-Med 2019数据集上达到60%的准确率，与当前最先进模型相当。

ABSTRACT

Medical visual question answering (Med-VQA) is a machine learning task that aims to create a system that can answer natural language questions based on given medical images. Although there has been rapid progress on the general VQA task, less progress has been made on Med-VQA due to the lack of large-scale annotated datasets. In this paper, we present domain-specific pre-training strategies, including a novel contrastive learning pretraining method, to mitigate the problem of small datasets for the Med-VQA task. We find that the model benefits from components that use fewer parameters. We also evaluate and discuss the model's visual reasoning using evidence verification techniques. Our proposed model obtained an accuracy of 60% on the VQA-Med 2019 test set, giving comparable results to other state-of-the-art Med-VQA models.

研究动机与目标

• 为解决Med-VQA中注释医学图像数据集有限的挑战，探索领域特定的预训练策略。
• 评估不同图像、问题和答案编码器组件对Med-VQA性能的影响，重点关注模型复杂度与参数效率。
• 探究在医学特定数据上进行预训练是否能提升模型在低数据场景下的泛化能力和推理能力。
• 通过GradCAM等证据验证技术增强模型可解释性，这对临床部署至关重要。
• 对Med-VQA中的组件选择进行系统性分析，超越对先进架构的假设。

提出的方法

• 提出一种新颖的对比学习预训练方法用于图像编码器，以利用医学图像数据提升特征表示能力。
• 对图像和问题编码器均应用领域特定的预训练，使用医学语料和影像数据注入领域知识。
• 采用联合嵌入框架，分别使用基于CNN的编码器处理图像，基于RNN或Transformer的编码器处理问题，以及基于RNN或MLP的编码器处理答案。
• 使用梯度加权类激活映射（GradCAM）可视化注意力图，验证模型在预测过程中关注图像中相关区域。
• 通过消融研究比较不同模型组件，包括不同的编码器架构和预训练策略。
• 在VQA-Med 2019数据集上使用标准交叉熵损失对最终模型进行微调，以生成答案。

(a) Modality category example

实验结果

研究问题

• RQ1 在Med-VQA的低数据场景下，参数更少、结构更简单的浅层模型是否优于更复杂的架构？
• RQ2 与通用领域预训练相比，使用对比学习对图像编码器进行医学特定预训练是否能提升Med-VQA性能？
• RQ3 在医学特定文本（如临床问题）上预训练问题编码器是否对Med-VQA有益？
• RQ4 GradCAM-based可视化在多大程度上能验证模型的推理过程并提升医学VQA的可解释性？
• RQ5 哪些关键组件和设计选择能带来在VQA-Med 2019基准上的最佳性能？

主要发现

• 参数更少、结构更简单的模型在所有实验中均持续优于复杂架构，可能是因为在小规模VQA-Med 2019数据集上过拟合风险更低。
• 所提出的图像编码器对比学习预训练方法未能提升模型性能，表明该方法可能不适用于Med-VQA中多样的视觉推理需求。
• 在医学文本上预训练问题编码器并未在VQA-Med 2019数据集上带来性能提升，可能是因为问题中医学术语有限。
• GradCAM可视化证实，模型在预测时关注医学图像中的相关解剖区域，支持其预测的有效性并增强可解释性。
• 最终模型在VQA-Med 2019测试集上达到60%的准确率，与当前最先进非集成模型相当，表明在数据受限条件下仍具有强大性能。
• 本研究表明，将所提出的模型进行集成可进一步提升性能，提示未来具备良好的可扩展潜力。

(b) Plane category example