[论文解读] PlanFitting: Personalized Exercise Planning with Large Language Model-driven Conversational Agent

Dong-Hoon Shin, Gary Hsieh+1 more|arXiv (Cornell University)|Sep 22, 2023

Innovative Human-Technology Interaction被引用 5

一句话总结

PlanFitting 是一个对话式人工智能系统，利用大语言模型（LLMs）通过自然语言交互生成个性化、基于证据的每周锻炼计划。通过对话收集用户约束条件，并以 IF-THEN 实施意图的形式表达计划，该系统生成了可执行且可适应的计划，专家评估认为其质量与人类规划者制定的计划相当。

ABSTRACT

Creating personalized and actionable exercise plans often requires iteration with experts, which can be costly and inaccessible to many individuals. This work explores the capabilities of Large Language Models (LLMs) in addressing these challenges. We present PlanFitting, an LLM-driven conversational agent that assists users in creating and refining personalized weekly exercise plans. By engaging users in free-form conversations, PlanFitting helps elicit users' goals, availabilities, and potential obstacles, and enables individuals to generate personalized exercise plans aligned with established exercise guidelines. Our study -- involving a user study, intrinsic evaluation, and expert evaluation -- demonstrated PlanFitting's ability to guide users to create tailored, actionable, and evidence-based plans. We discuss future design opportunities for LLM-driven conversational agents to create plans that better comply with exercise principles and accommodate personal constraints.

研究动机与目标

• 解决为个人日程、目标和约束条件量身定制锻炼计划的挑战。
• 通过利用大语言模型进行迭代式、用户驱动的规划，减少对昂贵或难以获取的专家规划者的依赖。
• 通过以实施意图（IF-THEN 规则）形式表达计划，提升计划的依从性，使其更具情境特异性且易于遵循。
• 探索大语言模型在计划制定过程中识别被忽视的约束或风险的潜力。
• 通过用户研究和专家评估，评估大语言模型生成计划的可行性与质量。

提出的方法

• 该系统采用基于网络的对话式界面，用户通过与大语言模型驱动的代理对话来描述其目标、可用时间和潜在障碍。
• 大语言模型通过自然语言对话动态收集并解释用户约束，引导用户提供全面的信息。
• 计划以实施意图的形式生成（例如，如果我在周二晚上6点有空，那么我将进行30分钟的力量训练），通过情境特定的提示增强依从性。
• 系统整合了专家指南和精选数据集中的锻炼知识，以确保计划具有循证基础且安全。
• 通过对话对用户输入进行迭代验证和优化，实现实时调整。
• 专家规划者对最终计划的临床合理性、个性化程度和可行性进行了评估。

Figure 1 . Key screen of the PlanFitting system. As the user chats with the system on the chat panel (right), PlanFitting leads the conversation and collects the user’s personal constraints ( \footnotesize{A}⃝ ), recommends exercise types ( \footnotesize{B}⃝ ) based on the constraints, and sets up p

实验结果

研究问题

• RQ1 基于大语言模型的对话代理能否通过自然语言有效获取用户在锻炼规划中所需的全面个人约束（如目标、可用时间、障碍）？
• RQ2 与专家制定的计划相比，用户对大语言模型代理生成的计划在清晰度、个性化和可操作性方面的感知如何？
• RQ3 大语言模型生成的计划在多大程度上能与人类专家制定的计划在质量和安全标准上保持一致？
• RQ4 使用实施意图（IF-THEN 规则）是否能提升计划的依从性和用户的理解程度？
• RQ5 大语言模型在规划过程中能否主动识别被忽视的风险或过于激进的计划？

主要发现

• 专家规划者对 PlanFitting 生成的锻炼计划评价为在质量与可行性方面与人类专家制定的计划相当，表明其与临床指南高度一致。
• 参与者认为 IF-THEN 实施意图格式具有高度的可理解性和适应性，尤其优于模糊或僵化的基于时间的指令。
• 对话式界面使用户能够自然地表达复杂约束，减轻了初始信息输入的负担，并支持迭代优化。
• 大语言模型展示了在无需用户具备运动科学知识的前提下，生成个性化、可执行且基于证据的计划的能力。
• 观察到大语言模型严格遵循用户指定的可用时间，导致某些情况下生成了可能过于激进的计划，凸显了未来需要引入由人工智能驱动的风险检查功能。
• 该系统在事后通过人工智能生成的检查清单中展现出识别被忽视约束的潜力，提示了提升安全性和可持续性的可行路径。

Figure 2 . Illustration of how the PlanFitting computes and returns the next dialogue of the chatbot and updates the dashboard, based on the current dialogues