[论文解读] Supplementary Material for "The Unreasonable Effectiveness of Large Language Models in Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Prospective Cardiac Rehabilitation Setting"

David Haag, Devender Kumar+8 more|arXiv (Cornell University)|Feb 12, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本研究评估了使用 GPT-4 生成个性化、上下文感知的即时自适应干预（JITAIs），以促进心脏康复中的身体活动。基于 450 项针对不同人物角色和情境的患者特定干预措施，GPT-4 在适当性、参与度、有效性及专业性方面均优于普通民众和医疗专业人员，展示了大型语言模型（LLMs）在实现可扩展、自适应数字健康支持方面的巨大潜力。

ABSTRACT

This upload contains supplementary materials for the publication: "The Last JITAI? - The Unreasonable Effectiveness of Large Language Models in Issuing Just-in-Time Adaptive Interventions: Fostering Physical Activity in a Prospective Cardiac Rehabilitation Setting" Supplement 1: Persona and context information used as basis for JITAI decision-making and content generation Supplement 2: Instructions given to JITAI generators Supplement 3: Data and analysis skripts (contains a Read_me file specifying further details)

研究动机与目标

• 评估大型语言模型（LLMs）在生成心脏康复中用于促进身体活动的即时自适应干预（JITAIs）方面的可行性与质量。
• 解决传统 JITAI 实施模型在手动或基于规则设计方面存在的可扩展性和灵活性限制。
• 将 LLM 生成的 JITAI 建议与普通人及医疗专业人员生成的干预措施在现实临床相关性和质量方面进行比较。
• 评估 GPT-4 在生成针对不同临床严重程度和情境背景的、具有上下文敏感性的个性化行为健康信息方面的表现。

提出的方法

• 本研究使用 GPT-4 基于每位患者人物角色的五组不同情境，生成了 450 项 JITAI 决策与信息。
• 定义了三种患者人物角色，每种均反映心脏康复中不同的临床特征和行为需求。
• 情境组包括实时因素，如活动水平、情绪、社交环境和临床状态，以模拟动态、现实世界的情境。
• 通过四项关键指标——适当性、参与度、有效性和专业性——系统评估生成的信息与来自 10 名普通人和 10 名医疗专业人员的人工生成干预措施进行对比。
• 评估通过专家和用户评估方式进行，确保与临床指南和以患者为中心的设计原则保持一致。
• 通过结构化模板和临床情境提示 LLM，以确保信息生成的一致性和相关性。

实验结果

研究问题

• RQ1 GPT-4 能否生成在心脏康复背景下与医疗专业人员生成的干预措施相当临床适当且具有吸引力的 JITAI 信息？
• RQ2 与普通人生成的干预措施相比，LLM 生成的 JITAIs 在个性化和临床相关性方面质量如何？
• RQ3 LLM 在无需手动重新配置的情况下，能够在多大程度上实现对多样化患者群体和动态情境的个性化、上下文感知干预？
• RQ4 使用 LLM 是否能提升数字健康干预在实时行为支持中的适应性和响应能力？

主要发现

• GPT-4 生成的 JITAIs 在所有评估指标（适当性、参与度、有效性、专业性）上均显著优于普通人和医疗专业人员的整体质量。
• LLM 在所有三种患者人物角色中均表现出一致的高性能，无论临床严重程度或情境如何，均保持高度相关性和个性化。
• 在参与度方面，专家和普通用户均认为 GPT-4 的信息比人工生成的替代方案更具激励性和可操作性。
• 该系统实现了高上下文准确性，信息能动态适应情绪、活动水平和社会环境等实时因素。
• 结果表明，LLM 可减轻手动 JITAI 编写负担，同时提升数字健康干预的可扩展性和个性化水平。
• GPT-4 的输出被评价为临床合理，并与基于证据的心脏康复指南一致，显示出其在临床工作流程中集成的强大潜力。