[论文解读] ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent
ViSTAR 是一个基于AR的篮球技能训练系统，使用3D化身和AI教练来提供BST对齐的指导、建模、排练和反馈。
We present ViSTAR, a Virtual Skill Training system in AR that supports self-guided basketball skill practice, with feedback on balance, posture, and timing. From a formative study with basketball players and coaches, the system addresses three challenges: understanding skills, identifying errors, and correcting mistakes. ViSTAR follows the Behavioral Skills Training (BST) framework-instruction, modeling, rehearsal, and feedback. It provides feedback through visual overlays, rhythm and timing cues, and an AI-powered coaching agent using 3D motion reconstruction. We generate verbal feedback by analyzing spatio-temporal joint data and mapping features to natural-language coaching cues via a Large Language Model (LLM). A key novelty is this feedback generation: motion features become concise coaching insights. In two studies (N=16), participants generally preferred our AI-generated feedback to coach feedback and reported that ViSTAR helped them notice posture and balance issues and refine movements beyond self-observation.
研究动机与目标
- 用AR引导解决理解与纠正具身篮球技能的障碍。
- 在AR中提供BST信息驱动的教学框架（指令、建模、排练、反馈）。
- 通过一个基于LLM的流水线将运动学数据转化为口头与可视化的教练提示。
- 实现自我引导练习，具有实时可视化覆盖和AI教练。
- 在初步研究中评估AI生成与人类教练反馈的用户感知差异。
提出的方法
- 在AR中采用行为技能训练（BST），包括指令、建模、排练和反馈。
- 使用3D重建对参考化身进行动画化并覆盖多角度检查。
- 综合运动分析（姿态估计、DTW、随机森林）生成视觉与口头反馈。
- 通过可视化覆盖与骨架提示实现整体（流程/时机）与局部（关节层面）的引导。
- 通过将运动特征与基于LLM的反馈生成器相连，生成自然语言教练提示。
- 在两项用户研究（总共N=16）中评估AI生成的教练。
实验结果
研究问题
- RQ1AR与AI如何为具身篮球技能提供有效、像教练一样的反馈？
- RQ2用户是否更偏好AI生成的反馈来纠正姿势和动作，而非教练的反馈？
- RQ3BST对齐的AR引导是否能帮助学习者发现姿势/平衡问题并在自我观察之外改进动作？
- RQ4在AR中支持自我导向练习的有效视觉与口头反馈方式有哪些？
主要发现
- 参与者更偏好AI生成的反馈在姿态错误识别与具体矫正方面的表现。
- AR引导帮助用户发现姿势与平衡问题并在自我观察之外改进动作。
- 两项研究（N=16）显示AI反馈受欢迎且具有吸引力，尽管样本量限制了对性能的断言。
- 系统展示了将关节层次的运动分析转化为自然语言教练提示的可行性（通过LLM）。
- ViSTAR 提供了一个用于BST对齐的AR教练框架，结合3D化身与多方面反馈。
- 口头反馈生成使用DTW对齐的运动描述符与随机森林特征重要性来提示LLMs。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。