[论文解读] PathMMU: A Massive Multimodal Expert-Level Benchmark for Understanding and Reasoning in Pathology

Yuxuan Sun, Hao Wu+12 more|arXiv (Cornell University)|Jan 29, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

PathMMU 是一个大规模、经专家验证的多模态基准，包含 33,428 个病理学问答对和 24,067 张图像，由 GPT-4V 构建并经七位病理学家验证。结果显示，即使是最先进的 LMM 模型如 GPT-4V，其零样本准确率也仅为 49.8%，远低于人类专家的 71.8%；但微调后的开源模型表现超越了 GPT-4V，凸显了 PathMMU 在推动病理学专用 LMM 发展中的作用。

ABSTRACT

The emergence of large multimodal models has unlocked remarkable potential in AI, particularly in pathology. However, the lack of specialized, high-quality benchmark impeded their development and precise evaluation. To address this, we introduce PathMMU, the largest and highest-quality expert-validated pathology benchmark for Large Multimodal Models (LMMs). It comprises 33,428 multimodal multi-choice questions and 24,067 images from various sources, each accompanied by an explanation for the correct answer. The construction of PathMMU harnesses GPT-4V's advanced capabilities, utilizing over 30,000 image-caption pairs to enrich captions and generate corresponding Q&As in a cascading process. Significantly, to maximize PathMMU's authority, we invite seven pathologists to scrutinize each question under strict standards in PathMMU's validation and test sets, while simultaneously setting an expert-level performance benchmark for PathMMU. We conduct extensive evaluations, including zero-shot assessments of 14 open-sourced and 4 closed-sourced LMMs and their robustness to image corruption. We also fine-tune representative LMMs to assess their adaptability to PathMMU. The empirical findings indicate that advanced LMMs struggle with the challenging PathMMU benchmark, with the top-performing LMM, GPT-4V, achieving only a 49.8% zero-shot performance, significantly lower than the 71.8% demonstrated by human pathologists. After fine-tuning, significantly smaller open-sourced LMMs can outperform GPT-4V but still fall short of the expertise shown by pathologists. We hope that the PathMMU will offer valuable insights and foster the development of more specialized, next-generation LMMs for pathology.

研究动机与目标

• 为解决当前缺乏高质量、经专家验证的病理学 LMM 评估基准的问题。
• 构建一个全面、多样化且可解释的多模态数据集，以反映现实世界中的诊断挑战。
• 建立人类专家表现基准，量化 LMM 与临床专业能力之间的差距。
• 评估开源与闭源 LMM 在病理学专用、专家筛选的基准上的鲁棒性与适应能力。
• 通过识别关键局限性（如视觉忽略和捷径学习）来指导未来专用 LMM 的开发。

提出的方法

• 利用 GPT-4V 生成超过 30,000 个图像-标题对，并通过分层提示策略将其级联为多模态问答对。
• 从多种来源收集数据，包括 PubMed、病理图谱、社交媒体、教育视频和分类数据集，以确保涵盖广泛的器官系统和疾病类型。
• 采用严格的两阶段筛选流程：先由 AI 初步生成，再由七位持有执照的病理学家对测试集和验证集进行专家验证。
• 通过让病理学家回答相同问题来建立人类专家基准，从而实现与 LMM 表现的直接对比。
• 在 14 种开源和 4 种闭源 LMM 上进行零样本评估和微调实验，采用两种微调策略：直接生成答案和生成带解释的答案。
• 评估模型对图像退化的鲁棒性，并分析其在多个数据子集（如 PubMed、SocialPath、Atlas）上的表现，以评估领域泛化能力。

实验结果

研究问题

• RQ1 最先进的 LMM 在一个全面、经专家验证的病理学基准上的表现如何，与人类病理学家相比如何？
• RQ2 在 PathMMU 上进行微调是否能显著提升 LMM 的性能？以生成解释为目标的微调模型是否优于直接生成答案的模型？
• RQ3 LMM 在分析病理图像时，在多大程度上依赖文本线索而非视觉特征？这种依赖关系如何影响其准确性？
• RQ4 当前 LMM 在病理学中的主要失败模式是什么，如视觉忽略或捷径学习？这些模式如何被缓解？
• RQ5 LMM 对图像退化有多大的鲁棒性？其性能在 PathMMU 内的不同数据源之间是否存在差异？

主要发现

• 作为表现最佳的 LMM，GPT-4V 在 PathMMU 上的零样本准确率仅为 49.8%，显著低于人类病理学家的 71.8%。
• 微调后，较小的开源 LMM 如 InstructBLIP-FLAN-T5-XL 和 InstructBLIP-FLAN-T5-XXL 超过了 GPT-4V，通过答案与解释生成微调，准确率最高达到 61.4%。
• 以直接生成答案为目标的微调策略表现优于以生成带解释答案为目标的策略，后者分别出现 0.3% 和 2.3% 的轻微性能下降。
• 性能提升最主要的来源是微调，其中 InstructBLIP-FLAN-T5-XL 在直接生成答案的微调下准确率提升了 21.5 个百分点。
• 模型对图像退化表现出较差的鲁棒性，且常忽略关键的视觉特征，表明其对文本线索的依赖远高于对视觉理解的依赖。
• 不同数据子集上的表现存在差异，模型在 PubMed 和教育内容子集上的表现最差，表明存在领域特定的泛化挑战。