[论文解读] Personalizing Prostate Cancer Education for Patients Using an EHR-Integrated LLM Agent

Yuexing Hao, Jason Holmes+11 more|arXiv (Cornell University)|Sep 27, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文提出 MedEduChat，一种集成电子健康记录（EHR）的、专家参与的大型语言模型（LLM）驱动聊天机器人，通过利用患者特定的电子健康记录数据，提供个性化、半结构化的前列腺癌教育。该聊天机器人由患者、临床医生和人工智能专家共同设计，在可用性研究中提升了可及性和患者参与度，证明了大型语言模型在以患者为中心的肿瘤学教育中应用的可行性，并体现了强有力的人机协作原则。

ABSTRACT

Cancer patients often lack timely education and personalized support due to clinician workload. This quality improvement study develops and evaluates a Large Language Model (LLM) agent, MedEduChat, which is integrated with the clinic's electronic health records (EHR) and designed to enhance prostate cancer patient education. Fifteen non-metastatic prostate cancer patients and three clinicians recruited from the Mayo Clinic interacted with the agent between May 2024 and April 2025. Findings showed that MedEduChat has a high usability score (UMUX 83.7 out of 100) and improves patients' health confidence (Health Confidence Score rose from 9.9 to 13.9). Clinicians evaluated the patient-chat interaction history and rated MedEduChat as highly correct (2.9 out of 3), complete (2.7 out of 3), and safe (2.7 out of 3), with moderate personalization (2.3 out of 3). This study highlights the potential of LLM agents to improve patient engagement and health education.

研究动机与目标

• 解决由于临床时间有限和健康素养水平低，导致前列腺癌患者难以获得及时、个性化教育的紧迫缺口。
• 开发一种可扩展、安全且以患者为中心的基于 LLM 的聊天机器人，集成电子健康记录，实现实时、量身定制的教育。
• 建立一种包含患者、临床医生和人工智能研究人员的共同设计框架，以确保临床相关性、可用性和伦理一致性。
• 通过真实患者和临床医生的可用性测试，评估聊天机器人的有效性，以提升患者理解力和参与度。
• 界定在临床患者教育中部署 LLM 的实际边界和设计原则，特别强调安全性、准确性与可及性。

提出的方法

• 通过现有电子学习模块对前列腺癌患者开展需求评估调查，识别关键的教育缺口和痛点。
• 采用包含患者、临床医生和人工智能专家的共同设计流程，迭代塑造聊天机器人的结构、语气和功能。
• 基于封闭领域微调的 LLM（ChatGPT-4）构建 MedEduChat，通过限制响应仅限于前列腺癌特定的、基于循证的內容，确保准确性和安全性。
• 将聊天机器人与电子健康记录（EHR）集成，以基于患者特定数据（如诊断分期和治疗方案）提供个性化响应。
• 设计半结构化的对话交互，以非压迫性、分步式的方式引导患者逐步了解关键教育主题。
• 通过定性反馈和专家评审，对七名患者和三名临床医生开展可用性研究，评估响应质量、清晰度和感知帮助程度。

实验结果

研究问题

• RQ1 当前前列腺癌患者教育的主要挑战是什么，特别是在可及性、个性化和信息过载方面？
• RQ2 包含患者、临床医生和人工智能专家的共同设计流程，如何促成更高效、更可信的基于 LLM 的教育工具？
• RQ3 与标准电子学习模块相比，LLM 驱动的聊天机器人在多大程度上提升了患者对前列腺癌教育的理解和参与度？
• RQ4 在临床患者教育中部署 LLM 的实际与伦理边界是什么，特别是在准确性、偏见缓解和患者安全方面？

主要发现

• 患者报告称，MedEduChat 提供的解释比标准电子学习模块更清晰、更个性化，尤其是在治疗选择和副作用方面。
• 临床医生认为聊天机器人的回答在临床上准确、结构良好，并与当前指南一致，幻觉或错误信息极少。
• 共同设计过程成功识别了关键的可用性和安全性需求，如避免使用术语、提供情境相关答案，以及确保情感敏感性。
• 与 EHR 数据的集成使聊天机器人能够基于患者特定因素（如治疗阶段和共病）提供量身定制的响应。
• 尽管样本多样性有限，但不同教育背景的患者均认为该聊天机器人易于使用且具有吸引力，表明其具有广泛适用的潜力。
• 本研究凸显了未来研究在认知负荷、语言可及性以及非英语使用者和健康素养水平较低患者中的可用性方面的需求。