[论文解读] PharmacyGPT: The AI Pharmacist

Zhengliang Liu, Zihao Wu+13 more|arXiv (Cornell University)|Jul 19, 2023

Artificial Intelligence in Healthcare and Education被引用 11

一句话总结

PharmacyGPT 使用动态上下文和迭代优化研究 ChatGPT 与 GPT-4 在药学任务中的应用，能够从 ICU 数据生成患者聚类、死亡率和 APACHE II 预测，以及药物计划。结果显示在测试方法中，具备动态上下文的 GPT-4 表现最佳，但也存在显著局限性。

ABSTRACT

In this study, we introduce PharmacyGPT, a novel framework to assess the capabilities of large language models (LLMs) such as ChatGPT and GPT-4 in emulating the role of clinical pharmacists. Our methodology encompasses the utilization of LLMs to generate comprehensible patient clusters, formulate medication plans, and forecast patient outcomes. We conduct our investigation using real data acquired from the intensive care unit (ICU) at the University of North Carolina Chapel Hill (UNC) Hospital. Our analysis offers valuable insights into the potential applications and limitations of LLMs in the field of clinical pharmacy, with implications for both patient care and the development of future AI-driven healthcare solutions. By evaluating the performance of PharmacyGPT, we aim to contribute to the ongoing discourse surrounding the integration of artificial intelligence in healthcare settings, ultimately promoting the responsible and efficacious use of such technologies.

研究动机与目标

• 探索 LLM（ChatGPT 与 GPT-4）在药学相关任务中的能力。
• 开发动态提示与迭代优化，以在不进行微调的情况下将 LLM 应用于临床药学。
• 使用 LLM 嵌入和聚类生成可解释的患者簇。
• 评估 LLM 在 ICU 数据中预测患者结局和生成药物计划的能力。

提出的方法

• 通过从患者数据生成 1536 维的 GPT-3 嵌入并应用分层聚类来创建可解释的患者簇。
• 采用一种迭代优化算法，根据模型输出的评估分数更新提示。
• 使用动态上下文方法来构建提示，以提高 GPT-4/ChatGPT 的性能。
• 通过多种少样本提示策略（rand_5-shot、freq_5-shot、bcat_rand_5-shot、sim_5-shot 和 GPT-4 变体）评估死亡率和 APACHE II 评分预测性能。
• 将 GPT-4 生成的药物计划与专家评审进行对比，以讨论超越 ROUGE 类度量的实用性和评估需求。

Figure 1 : Interpretable Clusters for real ICU data

实验结果

研究问题

• RQ1 LLMs 是否能够使用嵌入和聚类从 ICU 数据中生成可解释的患者簇？
• RQ2 在动态提示和少样本示例下，ChatGPT 与 GPT-4 对医院死亡率和 APACHE II 分数的预测能力如何？
• RQ3 GPT-4/ChatGPT 在 ICU 药物计划生成方面的潜力与局限性是什么，应该如何评估？
• RQ4 如何在不进行模型微调的情况下，通过迭代提示优化提升 LLM 的性能？

主要发现

• 聚类结果与 ICD-10 类别对齐，且具有专家验证的可解释性。
• 在动态上下文和相似样本条件下，GPT-4 对结果预测的准确性在测试模型中最高。
• 死亡率预测的精度和 F1 值受数据不平衡（存活 vs 死亡 9:1）和测试集中死亡样本量较小（46）的影响。
• APACHE II 评分预测方面，基于 GPT-4 的提示优于其他方法，表明首日数据具有强相关性。
• GPT-4 生成的药物计划需要药师专家评审，并且需要超越 ROUGE 的新任务特定评估指标。
• 患者情况的不平衡和时间性变化限制了基于静态初日数据的死亡率可预测性与评估。

Figure 2 : Uncovering underlying neurological disorders of a group of patients