[论文解读] PATIENT-Ψ: Using Large Language Models to Simulate Patients for Training Mental Health Professionals

Ruiyi Wang, Stephanie Milani+10 more|arXiv (Cornell University)|May 30, 2024

Digital Mental Health Interventions被引用 5

一句话总结

PATIENT-Ψ 将 CBT cognitive models 与 LLMs 结合，用于模拟患者互动以培训心理健康专业人员，并引入一个交互式训练器来实践认知模型的制定。

ABSTRACT

Mental illness remains one of the most critical public health issues. Despite its importance, many mental health professionals highlight a disconnect between their training and actual real-world patient practice. To help bridge this gap, we propose PATIENT-Ψ, a novel patient simulation framework for cognitive behavior therapy (CBT) training. To build PATIENT-Ψ, we construct diverse patient cognitive models based on CBT principles and use large language models (LLMs) programmed with these cognitive models to act as a simulated therapy patient. We propose an interactive training scheme, PATIENT-Ψ-TRAINER, for mental health trainees to practice a key skill in CBT -- formulating the cognitive model of the patient -- through role-playing a therapy session with PATIENT-Ψ. To evaluate PATIENT-Ψ, we conducted a comprehensive user study of 13 mental health trainees and 20 experts. The results demonstrate that practice using PATIENT-Ψ-TRAINER enhances the perceived skill acquisition and confidence of the trainees beyond existing forms of training such as textbooks, videos, and role-play with non-patients. Based on the experts' perceptions, PATIENT-Ψ is perceived to be closer to real patient interactions than GPT-4, and PATIENT-Ψ-TRAINER holds strong promise to improve trainee competencies. Our code and data are released at \url{https://github.com/ruiyiw/patient-psi}.

研究动机与目标

• 缩小心理健康护理培训与真实患者互动之间的差距。
• 创建多样化、专家验证的患者 CCDs（抑郁/焦虑患者的认知模型）。
• 将 CCDs 与 LLMs 整合以生成真实的模拟患者行为。
• 提供一个互动训练器，让学习者制定患者的认知模型并获得反馈。

提出的方法

• 从 CBT 理论和专家意见中开发 CCDs，以代表核心信念、自动思维、情绪与行为。
• 用六种预定义的关系风格对 LLM 进行编程，以模拟患者对话。
• 通过在 CCDs 和风格指令上对 LLM 进行条件化，创建 Patient-Ψ 以执行 CBT 基于角色扮演。
• 设计 Patient-Ψ-Trainer 作为一个基于网络的互动工具，培训者练习模型制定并与参考 CCDs 进行比较。
• 通过专家和培训学员的用户研究比较 Patient-Ψ-Trainer 与 GPT-4 基线，评估保真度和培训效果。

实验结果

研究问题

• RQ1 CCD 驱动的 LLM 在多样化关系风格下多大程度上忠实再现真实患者沟通？
• RQ2 使用 Patient-Ψ-Trainer 的培训是否比基线方法更能提升 CBT 形成技能、感知能力和信心？
• RQ3 专家和培训学员是否更偏好 Patient-Ψ-Trainer 而非现有 CBT 培训技术？
• RQ4 哪些因素会影响对新的 AI 驱动患者模拟工具的感知有用性与采用？
• RQ5 该框架是否可以将 CBT 之外的其他心理健康培训范式推广应用？

主要发现

• 专家将 Patient-Ψ 在症状、认知、情感和关系风格方面的忠实度评价为高于 GPT-4（中位数 4.0–4.5）。
• 专家对 Patient-Ψ-Trainer 在提升 CBT 形成技能、识别信念与不良思维方面的评价很高（中位数最高达 5.0）。
• 专家更偏好 Patient-Ψ-Trainer 相较于 GPT-4 基线在整体 CBT 技能与课堂采用度上的表现（采用中位数 5.0）。
• 学员对 Patient-Ψ-Trainer 的偏好程度更高（中位数 4.5），并报告比基线方法更显著的技能与信心提升感知。
• 在 CCD 准确性维度上，大约 75% 的模拟患者总体上非常到极度准确；在具体维度上，75–90% 的场景达到非常到极度准确。