[论文解读] Synthetic Patients: Simulating Difficult Conversations with Multimodal Generative AI for Medical Education

Simon N. Chu, Alex J. Goodell|arXiv (Cornell University)|May 30, 2024

Topic Modeling被引用 4

一句话总结

本文介绍了一种多模态生成式人工智能系统，可创建用于医学教育的交互式、基于视频的合成患者，实现对困难临床对话的真实感模拟。通过结合大型语言模型、计算机视觉和生成式音频技术，该平台提供高保真度、低资源消耗的培训体验，提升学员在临终关怀及敏感话题沟通中的自信心。

ABSTRACT

Problem: Effective patient-centered communication is a core competency for physicians. However, both seasoned providers and medical trainees report decreased confidence in leading conversations on sensitive topics such as goals of care or end-of-life discussions. The significant administrative burden and the resources required to provide dedicated training in leading difficult conversations has been a long-standing problem in medical education. Approach: In this work, we present a novel educational tool designed to facilitate interactive, real-time simulations of difficult conversations in a video-based format through the use of multimodal generative artificial intelligence (AI). Leveraging recent advances in language modeling, computer vision, and generative audio, this tool creates realistic, interactive scenarios with avatars, or "synthetic patients." These synthetic patients interact with users throughout various stages of medical care using a custom-built video chat application, offering learners the chance to practice conversations with patients from diverse belief systems, personalities, and ethnic backgrounds. Outcomes: While the development of this platform demanded substantial upfront investment in labor, it offers a highly-realistic simulation experience with minimal financial investment. For medical trainees, this educational tool can be implemented within programs to simulate patient-provider conversations and can be incorporated into existing palliative care curriculum to provide a scalable, high-fidelity simulation environment for mastering difficult conversations. Next Steps: Future developments will explore enhancing the authenticity of these encounters by working with patients to incorporate their histories and personalities, as well as employing the use of AI-generated evaluations to offer immediate, constructive feedback to learners post-simulation.

研究动机与目标

• 解决医学训练学员在处理敏感对话（如照护目标和临终关怀讨论）时持续存在的信心不足问题。
• 通过开发一种可扩展的、高保真度的替代方案，克服传统模拟方法（如标准化患者和低保真度虚拟患者）的局限性。
• 在保持或提升教育保真度和真实感的同时，降低基于演员的模拟的高资源投入。
• 将基于人工智能的合成患者整合到现有的姑息治疗课程中，以支持即时培训和技能发展。
• 为未来基于人工智能的反馈系统奠定基础，实现实时、建设性的学员表现评估。

提出的方法

• 利用多模态生成式人工智能，包括大型语言模型（如 GPT-4），生成具有情境感知能力的逼真对话，用于合成患者。
• 使用计算机视觉和文本到图像扩散模型，生成具有多样化种族、年龄和外貌特征的动态个性化虚拟形象。
• 采用生成式音频和唇部同步技术，在视频聊天互动中实时生成自然语音和面部动画。
• 构建自定义视频聊天应用程序，集成文本、音频和视频输出，以模拟真实的医患对话。
• 实施一个工作流：将用户语音输入转换为文本，经语言模型处理后生成相应的音视频反馈。
• 采用混合方法，结合视频生成与唇部同步技术，以保持视觉一致性并降低计算延迟。

实验结果

研究问题

• RQ1 多模态生成式人工智能能否生成在保真度和情感复杂性方面可与真实标准化患者相媲美的合成患者？
• RQ2 与传统基于演员的模拟相比，该平台在多大程度上降低了资源需求，同时保持教育有效性？
• RQ3 学员对与人工智能生成的合成患者互动的真实感和心理安全感的感知如何，相较于与真人演员的互动？
• RQ4 该系统能否扩展以整合真实患者的叙事和生活经验，从而增强真实性并减少偏见？
• RQ5 在医学教育中大规模部署生成式人工智能进行临床模拟面临哪些技术和伦理挑战？

主要发现

• 该平台在初始开发后仅需极少的持续财务投入，即可实现高保真度、交互式的困难对话模拟。
• 尽管存在技术挑战，系统仍成功生成了逼真的虚拟形象和对话，能够模拟多样化患者背景、个性和情感反应。
• 系统存在视觉伪影、动画过程中的面部失真以及‘幻觉’式手势等问题，表明当前视频生成保真度仍存在局限。
• 唇部同步和音频处理导致高达30秒的延迟，干扰对话流畅性，凸显性能瓶颈。
• 该平台证明了在姑息治疗培训中创建可扩展、可定制、低成本模拟环境的可行性。
• 作者已在 HuggingFace 上发布代码、患者档案以及应用的容器化版本，支持可复现性与社区开发。