[论文解读] Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation

Juan Manuel Zambrano Chaves, Shih-Cheng Huang+25 more|arXiv (Cornell University)|Mar 12, 2024

Radiology practices and educationMedicine被引用 3

一句话总结

本论文提出 LLaVA-Rad，一种参数量为 7B 的轻量化多模态基础模型，基于 100 万张胸部 X 光片-报告配对数据进行训练，旨在弥合放射科临床能力的差距。通过采用基于模块化适配器的微调方法，并结合开源视觉与语言模型，LLaVA-Rad 在报告生成与跨模态检索任务中达到最先进性能，超越了 GPT-4V 和 Med-PaLM M 等更大规模模型，同时实现在单张 V100 GPU 上快速、私密的推理，并通过 GPT-4 驱动的自动化评估实现与专家标准一致的性能。

ABSTRACT

The scaling laws and extraordinary performance of large foundation models motivate the development and utilization of such models in biomedicine. However, despite early promising results on some biomedical benchmarks, there are still major challenges that need to be addressed before these models can be used in real-world clinics. Frontier general-domain models such as GPT-4V still have significant performance gaps in multimodal biomedical applications. More importantly, less-acknowledged pragmatic issues, including accessibility, model cost, and tedious manual evaluation make it hard for clinicians to use state-of-the-art large models directly on private patient data. Here, we explore training open-source small multimodal models (SMMs) to bridge competency gaps for unmet clinical needs in radiology. To maximize data efficiency, we adopt a modular approach by incorporating state-of-the-art pre-trained models for image and text modalities, and focusing on training a lightweight adapter to ground each modality to the text embedding space, as exemplified by LLaVA-Med. For training, we assemble a large dataset of over 697 thousand radiology image-text pairs. For evaluation, we propose CheXprompt, a GPT-4-based metric for factuality evaluation, and demonstrate its parity with expert evaluation. For best practice, we conduct a systematic ablation study on various choices in data engineering and multimodal training. The resulting LlaVA-Rad (7B) model attains state-of-the-art results on standard radiology tasks such as report generation and cross-modal retrieval, even outperforming much larger models such as GPT-4V and Med-PaLM M (84B). The inference of LlaVA-Rad is fast and can be performed on a single V100 GPU in private settings, offering a promising state-of-the-art tool for real-world clinical applications.

研究动机与目标

• 为解决放射科人工智能中的临床能力差距，开发一种小型化、可访问且高效的多模态基础模型。
• 实现最先进的放射科人工智能模型在本地私有环境中的部署，克服大型云托管模型在隐私、成本和延迟方面的障碍。
• 开发一种可靠、自动化的评估框架，利用 GPT-4 实现与放射科专家评估在报告事实正确性方面一致的评估。
• 证明通过高效数据与基于适配器的微调方法，小型开源模型可在放射科任务中实现最先进性能。

提出的方法

• 从八个不同来源收集包含 1,034,660 对胸部 X 光片-报告的大规模数据集，并使用 GPT-4 清洗和结构化报告。
• 采用模块化架构，结合开源视觉与语言基础模型，仅训练轻量级适配器以对齐图像与文本嵌入，最大限度减少参数更新。
• 提出一种基于 GPT-4 的新型评估指标（G-Rad），量化放射科报告中六类事实性错误，区分临床显著与非显著错误。
• 使用 Kendall’s Tau b 相关系数与配对 t 检验，验证 G-Rad 在 ReXval 数据集上与专家放射科医生错误标注的一致性。
• 在数据工程与训练配置方面开展系统性消融研究，以优化模型性能与鲁棒性。
• 可视化全部 32 层与 32 个头的注意力机制，定性分析模型如何将文本生成与图像区域对齐。

实验结果

研究问题

• RQ1 小型开源多模态模型是否能在不依赖大型专有模型的前提下，实现在放射科报告生成与跨模态检索任务中的最先进性能？
• RQ2 基于大语言模型的评估系统（G-Rad）是否能通过 GPT-4 实现与专家放射科医生评估在检测放射科报告中临床显著事实性错误方面的等效性？
• RQ3 在包含 100 万张图像-报告配对的大型、精心筛选数据集上，采用轻量化适配器微调方法是否能在临床基准测试中超越 GPT-4V 和 Med-PaLM M 等更大规模模型？
• RQ4 该模型的注意力机制如何将生成的文本与胸部 X 光片中的相关解剖区域对齐？这为理解其推理过程提供了哪些见解？
• RQ5 在模型效率与低硬件需求的前提下，临床医生在本地使用自身数据对模型进行微调的潜力有多大？

主要发现

• LLaVA-Rad（7B）在标准放射科基准测试中达到最先进性能，在报告生成与跨模态检索任务中超越了更大规模模型如 GPT-4V 与 Med-PaLM M（84B）。
• 基于 GPT-4-Turbo 的 G-Rad 评估指标在 ReXval 数据集上与专家放射科医生评估表现出强相关性，Kendall’s Tau b 系数超过 0.8。
• 在 MIMIC-CXR 测试集中，G-Rad 对临床显著错误与总体错误的计数显示，LLaVA-Rad 产生的临床显著错误数量仅为 LLaVA-Med 的 2.5 倍，GPT-4V 的 3 倍。
• 在五种最常见异常（肺不张、心脏扩大、实变、肺水肿、胸腔积液）上，LLaVA-Rad 的 F1-CheXbert 得分为 0.82，优于先前最先进模型。
• LLaVA-Rad 可在 8 张 A100 集群上仅用两天完成微调，并可在单张 V100 GPU 上高效运行推理，支持在临床环境中实现私密、低延迟的部署。
• 定性注意力可视化结果表明，模型能有效将生成的词语与相关图像区域对齐，且在各层与各头间表现出一致的注意力模式。