[论文解读] MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering

Haiwei Pan, Shuning He+4 more|arXiv (Cornell University)|Jul 7, 2021

Multimodal Machine Learning Applications参考文献 42被引用 9

一句话总结

本文提出MuVAM，一种基于多视角注意力机制的医学视觉问答模型，通过图像到问题（I2Q）和词到文本（W2T）注意力机制整合视觉与文本语义，并结合分类损失与图像-问题互补（IQC）损失的复合损失函数。该方法在VQA-RAD及其增强版本VQA-RAD Ph上均达到最先进性能，当γ=1.6时，总体准确率达到74.28%。

ABSTRACT

Medical Visual Question Answering (VQA) is a multi-modal challenging task widely considered by research communities of the computer vision and natural language processing. Since most current medical VQA models focus on visual content, ignoring the importance of text, this paper proposes a multi-view attention-based model(MuVAM) for medical visual question answering which integrates the high-level semantics of medical images on the basis of text description. Firstly, different methods are utilized to extract the features of the image and the question for the two modalities of vision and text. Secondly, this paper proposes a multi-view attention mechanism that include Image-to-Question (I2Q) attention and Word-to-Text (W2T) attention. Multi-view attention can correlate the question with image and word in order to better analyze the question and get an accurate answer. Thirdly, a composite loss is presented to predict the answer accurately after multi-modal feature fusion and improve the similarity between visual and textual cross-modal features. It consists of classification loss and image-question complementary (IQC) loss. Finally, for data errors and missing labels in the VQA-RAD dataset, we collaborate with medical experts to correct and complete this dataset and then construct an enhanced dataset, VQA-RADPh. The experiments on these two datasets show that the effectiveness of MuVAM surpasses the state-of-the-art method.

研究动机与目标

• 为解决现有医学VQA模型对文本语义利用不足的问题，通过整合高层视觉与文本表征来改进模型性能。
• 通过新颖的多视角注意力机制，提升视觉与文本特征之间的跨模态对齐能力。
• 通过引入结合分类损失与图像-问题互补（IQC）损失的复合损失函数，增强模型的鲁棒性与准确性。
• 通过专家协作对VQA-RAD数据集进行修正与完善，形成更高质量的基准数据集VQA-RAD Ph。
• 通过消融研究与在原始及增强数据集上的对比实验，验证MuVAM的有效性。

提出的方法

• 模型对医学图像与临床问题分别进行特征提取，利用深度学习架构编码视觉与文本输入。
• 提出一种包含两部分的多视角注意力机制：图像到问题（I2Q）注意力用于对齐图像区域与问题语义，词到文本（W2T）注意力用于突出问题中的关键词。
• IQC损失旨在通过联合利用图像表征与文本语义，引导问题重要性学习，从而增强视觉与文本跨模态特征的相似性。
• 复合损失函数将标准分类损失与IQC损失相结合，以提升答案预测准确率与特征对齐效果。
• 模型在经过医学专家协作修正与增强的VQA-RAD Ph数据集上进行训练，以修复标注错误与缺失注释。
• 超参数分析确定γ=1.6为IQC损失的最优设置，在开放式、封闭式及总体准确率指标上均取得最佳性能。

实验结果

研究问题

• RQ1 是否可通过联合建模图像与词级相关性的多视角注意力机制，提升医学VQA中的答案准确率？
• RQ2 图像-问题互补（IQC）损失的引入，如何影响跨模态特征对齐与模型性能？
• RQ3 数据质量，特别是经过修正与完整的标注，对医学VQA模型性能的影响程度如何？
• RQ4 所提出的MuVAM模型是否在原始与增强的医学VQA基准上均优于现有最先进方法？
• RQ5 在平衡不同类型问题的准确率方面，IQC损失组件的最优超参数设置为何？

主要发现

• 当IQC损失超参数γ设置为1.6时，MuVAM在VQA-RAD Ph数据集上达到74.28%的总体准确率。
• 注意力机制与IQC损失的结合显著优于单一组件，性能显著超越基线模型，且表现更稳定。
• 增强后的VQA-RAD Ph数据集相比原始VQA-RAD数据集始终带来更优结果，证实了数据质量提升的积极影响。
• 消融研究显示，多视角注意力与IQC损失组件对最优性能均不可或缺，二者联合使用效果最佳。
• 可视化结果表明，MuVAM能正确识别相关图像区域，并关注问题中的关键词如"nodule"与"abnormalities"，但在复杂的经验型问题上偶有失败。