[论文解读] RareBench: Can LLMs Serve as Rare Diseases Specialists?

Xuanzhong Chen, Xiaohao Mao+4 more|arXiv (Cornell University)|Feb 9, 2024

Cancer Genomics and DiagnosticsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文介绍了 RareBench，一个用于评估大语言模型（LLMs）在罕见病诊断中表现的综合性基准。通过利用基于精选罕见病知识图谱的动态 few-shot 提示方法，GPT-4 在真实患者数据集上的 top-1 召回率（0.520）优于专科医生（0.407），展示了 LLM 在临床罕见病诊断中具有强大的潜力。

ABSTRACT

Generalist Large Language Models (LLMs), such as GPT-4, have shown considerable promise in various domains, including medical diagnosis. Rare diseases, affecting approximately 300 million people worldwide, often have unsatisfactory clinical diagnosis rates primarily due to a lack of experienced physicians and the complexity of differentiating among many rare diseases. In this context, recent news such as "ChatGPT correctly diagnosed a 4-year-old's rare disease after 17 doctors failed" underscore LLMs' potential, yet underexplored, role in clinically diagnosing rare diseases. To bridge this research gap, we introduce RareBench, a pioneering benchmark designed to systematically evaluate the capabilities of LLMs on 4 critical dimensions within the realm of rare diseases. Meanwhile, we have compiled the largest open-source dataset on rare disease patients, establishing a benchmark for future studies in this domain. To facilitate differential diagnosis of rare diseases, we develop a dynamic few-shot prompt methodology, leveraging a comprehensive rare disease knowledge graph synthesized from multiple knowledge bases, significantly enhancing LLMs' diagnostic performance. Moreover, we present an exhaustive comparative study of GPT-4's diagnostic capabilities against those of specialist physicians. Our experimental findings underscore the promising potential of integrating LLMs into the clinical diagnostic process for rare diseases. This paves the way for exciting possibilities in future advancements in this field.

研究动机与目标

• 解决在评估 LLM 在罕见病诊断中的表现时存在的关键空白，因为医生接触罕见病机会少且表型复杂，导致误诊率居高不下。
• 系统性地从四个关键维度评估 LLM：诊断准确性、鲁棒性、可解释性以及在罕见病背景下的泛化能力。
• 从北京协和医院（PUMCH）构建一个大规模、开源的罕见病患者病例数据集，以支持未来的研究。
• 通过使用全面的罕见病知识图谱，采用动态 few-shot 提示策略，提升 LLM 的诊断性能。
• 直接将 LLM 的诊断表现与专科医生进行对比，以确立其临床相关性并验证基准的实用性。

提出的方法

• 通过整合 OMIM、Orphanet、CCRD 和 HPO 等多个来源，构建罕见病知识图谱，以表示疾病-表型之间的关系。
• 在知识图谱上应用基于信息量的随机游走算法，生成多样化且上下文相关的 few-shot 示例，用于提示工程。
• 设计一种动态 few-shot 提示框架，根据输入患者的表型特征动态调整 few-shot 示例，以提升诊断的相关性。
• 使用基于表型的结构化输入（症状、体征、家族史）代替原始电子病历（EHR）文本，以减少 token 数量并提高模型的关注度与性能。
• 在 75 例真实 PUMCH 罕见病病例上进行受控评估，将 GPT-4 和另外两个 LLM 与未获外部协助及获外部协助的专科医生进行对比。
• 使用标准指标评估性能：top-1、top-3 和 top-10 召回率，以及中位排名，以评估诊断的精确性与排序质量。

Figure 1. RareBench ’s overview of evaluation results.

实验结果

研究问题

• RQ1 LLM 是否能在罕见病鉴别诊断中实现高于专科医生的诊断准确性？
• RQ2 与原始 EHR 文本相比，使用结构化表型输入在多大程度上能提升 LLM 的诊断性能？
• RQ3 基于罕见病知识图谱的动态 few-shot 提示策略，在多大程度上能增强 LLM 的诊断推理能力？
• RQ4 在表型重叠较高的科室（如心脏病学）中，不同医学专科的诊断性能指标如何变化？
• RQ5 在罕见病诊断中，外部临床协助对医生和 LLM 的影响有何对比？

主要发现

• 当使用基于表型的输入时，GPT-4 的 top-1 召回率达到 0.520，显著优于未获协助的专科医生（0.407）和获协助的医生（0.447）。
• GPT-4 在使用表型输入时，top-3 召回率达到 0.747，超过未获协助医生的 0.468 和获协助医生的 0.511。
• 与原始 EHR 文本相比，使用提取的表型可减少输入 token 数量并提升诊断性能，后者使 GPT-4 的 top-1 召回率仅为 0.453。
• 在所有五个评估的医学科室中，GPT-4 在 top-1 和 top-3 召回率上均优于专科医生，其中在儿科表现最佳，在心脏病学表现最差。
• 心脏病学病例在所有模型中表现最差，可能由于症状重叠以及对影像学和实验室检查结果的依赖，提示需要多模态 LLM。
• 基于知识图谱的动态 few-shot 提示方法显著提升了 LLM 在罕见病病例上的诊断推理能力和排序准确性。

Figure 2. RareBench is the first pioneering benchmark to evaluate LLMs as rare disease specialists on 4 distinct tasks.