[论文解读] Vision-Language Models for Medical Report Generation and Visual Question Answering: A Review

Iryna Hartsock, Ghulam Rasool|arXiv (Cornell University)|Mar 4, 2024

Multimodal Machine Learning Applications被引用 6

一句话总结

对专门用于医疗保健的视觉-文本模型的综合评审，聚焦医学报告生成和视觉问答，涵盖数据集、架构、训练策略和评估指标。

ABSTRACT

Medical vision-language models (VLMs) combine computer vision (CV) and natural language processing (NLP) to analyze visual and textual medical data. Our paper reviews recent advancements in developing VLMs specialized for healthcare, focusing on models designed for medical report generation and visual question answering (VQA). We provide background on NLP and CV, explaining how techniques from both fields are integrated into VLMs to enable learning from multimodal data. Key areas we address include the exploration of medical vision-language datasets, in-depth analyses of architectures and pre-training strategies employed in recent noteworthy medical VLMs, and comprehensive discussion on evaluation metrics for assessing VLMs' performance in medical report generation and VQA. We also highlight current challenges and propose future directions, including enhancing clinical validity and addressing patient privacy concerns. Overall, our review summarizes recent progress in developing VLMs to harness multimodal medical data for improved healthcare applications.

研究动机与目标

• 为初学机器学习的读者提供神经网络、自然语言处理和计算机视觉的背景知识。
• 探索视觉-语言模型架构及其在医学任务中的适应性。
• 汇编并描述医学视觉-语言数据集及评估指标。
• 评审面向医学报告生成和视觉问答的视觉语言模型并进行比较。
• 讨论挑战并为临床有效性和隐私提出未来方向。

提出的方法

• 将VLM架构分为单流与双流，以及仅编码器与编码器-解码器两种。
• 描述VLM使用的预训练任务（对比学习、MLM、MIM、ITM）及其损失形式（InfoNCE、基于softmax的损失）。
• 解释医学VLM中的微调范式（有监督微调、RLHF、指令微调）以及课程学习。
• 总结将VLM迁移学习和基于适配器的策略用于适应医学数据。
• 提供面向数据集和任务的医学报告生成与视觉问答VLMs的综合综述。

实验结果

研究问题

• RQ1 构建用于医学报告生成和视觉问答的视觉语言模型所使用的架构与训练策略是什么？
• RQ2 用于评估这些任务的医学VLM的数据集与评估指标是什么？
• RQ3 面向医疗保健的VLMs的关键挑战与潜在未来方向是什么？
• RQ4 在报告生成和VQA的背景下，医学VLM在架构和预训练目标方面的比较如何？

主要发现

• 医学VLM可以采用单流或双流架构，并且可以是仅编码器或编码器-解码器。
• 预训练通常使用对比学习、掩码语言建模、掩码图像建模以及图像-文本匹配等多种损失的组合。
• 微调方法包括有监督微调、RLHF和指令微调，通常辅以课程学习。
• 存在大量用于报告生成和VQA的医学视觉-语言数据集，评估指标针对临床任务量身定制。
• 综述强调临床有效性与隐私方面的挑战，并提出提升医疗保健适用性的方向。