[论文解读] Polaris: A Safety-focused LLM Constellation Architecture for Healthcare

Subhabrata Mukherjee, Paul Gamble+24 more|arXiv (Cornell University)|Mar 20, 2024

Quality and Safety in Healthcare被引用 19

一句话总结

Polaris 提出一个以安全为核心的多代理 LLM 星座，用于实时、面向患者的医疗对话，包含一个主代理和专家支持代理，以提升医疗安全并减少幻觉。

ABSTRACT

We develop Polaris, the first safety-focused LLM constellation for real-time patient-AI healthcare conversations. Unlike prior LLM works in healthcare focusing on tasks like question answering, our work specifically focuses on long multi-turn voice conversations. Our one-trillion parameter constellation system is composed of several multibillion parameter LLMs as co-operative agents: a stateful primary agent that focuses on driving an engaging conversation and several specialist support agents focused on healthcare tasks performed by nurses to increase safety and reduce hallucinations. We develop a sophisticated training protocol for iterative co-training of the agents that optimize for diverse objectives. We train our models on proprietary data, clinical care plans, healthcare regulatory documents, medical manuals, and other medical reasoning documents. We align our models to speak like medical professionals, using organic healthcare conversations and simulated ones between patient actors and experienced nurses. This allows our system to express unique capabilities such as rapport building, trust building, empathy and bedside manner. Finally, we present the first comprehensive clinician evaluation of an LLM system for healthcare. We recruited over 1100 U.S. licensed nurses and over 130 U.S. licensed physicians to perform end-to-end conversational evaluations of our system by posing as patients and rating the system on several measures. We demonstrate Polaris performs on par with human nurses on aggregate across dimensions such as medical safety, clinical readiness, conversational quality, and bedside manner. Additionally, we conduct a challenging task-based evaluation of the individual specialist support agents, where we demonstrate our LLM agents significantly outperform a much larger general-purpose LLM (GPT-4) as well as from its own medium-size class (LLaMA-2 70B).

研究动机与目标

• 开发一个实时、面向患者的医疗对话系统，强调安全性和非诊断性支持任务。
• 通过具备专门支持模型的多代理星座来减少幻觉并提高医疗准确性。
• 在 AI 驱动的对话中实现护士般的亲和力、同理心和床边举止。
• 在长时段、多轮交互中维持对话状态并处理基于语音的沟通。
• 将系统性能与人类护士进行比较，并将专家代理与通用 LLMs 进行对比评估。

提出的方法

• 设计一个具备状态维护的主代理和若干专家支持代理的多代理 LLM 星座。
• 使用专有医疗数据和模拟对话，通过通用指令微调、对话/代理微调和 RLHF 来训练主代理。
• 开发一个消息传递编排框架，通过专家代理的输出更新对话状态。
• 使用专门的专家代理（隐私、药物、实验室/生命体征、营养、政策、电子健康记录、人工干预等）来提供上下文和安全检查。
• 应用模型和数据策略，包括 50-100B 参数的支持模型、bf16/int8 精度，以及性能优化（GQA、Flash Attention 2、RoPE）。
• 采用模拟患者扮演者对话和护士在环数据生成，以训练并使系统在床边举止和医学推理方面保持一致。

实验结果

研究问题

• RQ1 在实时对话中，专注安全性的 LLM 星座是否能够在医疗安全、临床就绪、患者教育、对话质量和床边举止方面达到与人类护士的同等水平？
• RQ2 专家支持代理在医疗特定任务和仿真方面是否优于更大通用型 LLM？
• RQ3 面向实时护士协助的对话中，任务特定的模块化如何影响安全性、时延和准确性？
• RQ4 哪些训练与数据策略能最好地使主对话代理与护士般的同理心和医学推理对齐？
• RQ5 在临床对话中，多代理协协调整的运营挑战和安全取舍有哪些？

主要发现

• Polaris 系统在端对端评估中，在医疗安全、临床就绪、患者教育、对话质量和床边举止等综合指标上达到与人类护士的同等水平。
• 在组件评估中，专家支持代理在医疗任务上显著优于更大通用型 LLM（GPT-4）和同等规模的 LLM（LLaMA-2 70B）。
• 星座架构通过冗余、专业化和模块化升级提供安全性收益，使系统在无需重新训练整个系统的情况下实现更安全、可维护的更新。
• 在必要时可以调用带有人类监督的主动安全护栏，提升高风险对话中的安全性。
• 主代理专注于对话流畅性和同理心，而专家代理则验证信息、管理领域特定任务，并在长对话中维持状态。