[论文解读] Multimodal ChatGPT for Medical Applications: an Experimental Study of GPT-4V

Zhiling Yan, Kai Zhang+4 more|arXiv (Cornell University)|Oct 29, 2023

Artificial Intelligence in Healthcare and Education被引用 33

一句话总结

论文在病理学和放射学数据集上评估 GPT-4V 在医疗视觉问答中的表现，覆盖来自 11 种模态和 15 个对象的资料，发现当前的 GPT-4V 不可靠用于现实世界诊断，并识别出七种行为方面。

ABSTRACT

In this paper, we critically evaluate the capabilities of the state-of-the-art multimodal large language model, i.e., GPT-4 with Vision (GPT-4V), on Visual Question Answering (VQA) task. Our experiments thoroughly assess GPT-4V's proficiency in answering questions paired with images using both pathology and radiology datasets from 11 modalities (e.g. Microscopy, Dermoscopy, X-ray, CT, etc.) and fifteen objects of interests (brain, liver, lung, etc.). Our datasets encompass a comprehensive range of medical inquiries, including sixteen distinct question types. Throughout our evaluations, we devised textual prompts for GPT-4V, directing it to synergize visual and textual information. The experiments with accuracy score conclude that the current version of GPT-4V is not recommended for real-world diagnostics due to its unreliable and suboptimal accuracy in responding to diagnostic medical questions. In addition, we delineate seven unique facets of GPT-4V's behavior in medical VQA, highlighting its constraints within this complex arena. The complete details of our evaluation cases are accessible at https://github.com/ZhilingYan/GPT4V-Medical-Report.

研究动机与目标

• 评估 GPT-4V 在多种影像模态与器官中，回答视觉配对的医学问题的能力。
• 描述 GPT-4V 在医学查询中的定位、尺寸估计以及图像与文本的整合。
• 识别 GPT-4V 在医疗 VQA 情境中的优势、局限和行为模式。
• 提供关于在何时及如何让 GPT-4V 在医学场景中提供帮助或误导的指导。

提出的方法

• 通过 ChatGPT 界面使用零-shot 提示，针对 PathVQA、VQA-RAD 和 PMC-VQA 的病例输入对 GPT-4V 提问。
• 在封闭式（多项选择）和开放式问题上，使用真实标签评估准确性。
• 整理一个跨 11 种模态和 15 个对象、含 133 个样本的数据集，覆盖 16 种跨病理与放射学的问题类型。
• 分析在不同难度等级（easy、medium、hard）以及特定问题类型（模态识别、定位、尺寸等）上的表现。
• 识别 GPT-4V 在医疗 VQA 中的七种行为特征，包括对线索的依赖、尺寸估计的挑战以及文本偏差。

实验结果

研究问题

• RQ1 GPT-4V 能否识别医学影像的模态并在病理学与放射学图像中定位对象？
• RQ2 在零-shot 设置下，GPT-4V 的医学 VQA 有多准确？不同问题类型和难度有何差异？
• RQ3 在应用于医学 VQA 时，GPT-4V 的主要局限性和行为模式是什么？
• RQ4 基于其 VQA 表现，GPT-4V 是否适合用于现实世界的诊断支持？

主要发现

• 总体病理学 VQA 精度为 29.9%，封闭式问题为 35.3%。
• 放射学 VQA 总体精度为 50.0%，其中 easy 题为 81.25%，medium 为 59.09%，hard 为 11.11%。
• GPT-4V 在 easy 问题上表现较好，但在更困难、跨切片以及尺寸估计任务上表现欠佳。
• GPT-4V 往往更依赖文本上下文而非视觉数据，导致解释偏向或不完整。
• 模型倾向于谨慎，常表示自己不是医学专业人员并给出较长的解释。
• 研究结论认为由于准确性不可靠，不建议将 GPT-4V 用于现实世界诊断。
• 识别并讨论了在医疗 VQA 中 GPT-4V 的七种不同的行为特征。