[论文解读] See, Learn, Assist: Safe and Self-Paced Robotic Rehabilitation via Video-Based Learning from Demonstration

Ali Alabbas, Camillo Murgia+2 more|arXiv (Cornell University)|Mar 15, 2026

Stroke Rehabilitation and Recovery被引用 0

一句话总结

一个基于视频的仿生学习框架将治疗师的演示编码为以身为中心的6-DoF笛卡尔动态运动原型，以安全、自适应地驱动 cobot 辅助下的康复，覆盖被动、主动辅助和主动抗阻模式，并通过基于高斯混合回归（GMR）的力监测实现即时安全控制和可逆轨迹。

ABSTRACT

In this paper, we propose a novel framework that allows therapists to teach robot-assisted rehabilitation exercises remotely via RGB-D video. Our system encodes demonstrations as 6-DoF body-centric trajectories using Cartesian Dynamic Movement Primitives (DMPs), ensuring accurate posture-independent spatial generalization across diverse patient anatomies. Crucially, we execute these trajectories through a decoupled hybrid control architecture that constructs a spatially compliant virtual tunnel, paired with an effort-based temporal dilation mechanism. This architecture is applied to three distinct rehabilitation modalities: Passive, Active-Assisted, and Active-Resistive, by dynamically linking the exercise's execution phase to the patient's tangential force contribution. To guarantee safety, a Gaussian Mixture Regression (GMR) model is learned on-the-fly from the patient's own limb. This allows the detection of abnormal interaction forces and, if necessary, reverses the trajectory to prevent injury. Experimental validation demonstrates the system's precision, achieving an average trajectory reproduction error of 3.7cm and a range of motion (ROM) error of 5.5 degrees. Furthermore, dynamic interaction trials confirm that the controller successfully enforces effort-based progression while maintaining strict spatial path adherence against human disturbances.

研究动机与目标

• 通过治疗师对 RGB-D 视频的示教，实现远程教授机器人辅助康复练习。
• 通过以身为中心的轨迹编码，在多样化患者解剖结构中实现姿态无关的空间泛化。
• 提供一个多模态混合控制框架，兼顾空间路径遵循并将执行速度自适应于患者努力程度。
• 开发一个即时安全机制，利用高斯混合回归来检测异常交互力并可逆地停止轨迹。

提出的方法

• 感知模块使用 YOLOv8-pose 和 Mediapipe Hand 从 RGB-D 提取三维 6-DoF 姿态，构建以肩膀为锚点的体心框架。
• 学习模块用笛卡尔动态运动原型对6-DoF轨迹进行编码，以实现可扩展、姿态不变的运动。
• 执行模块实现一个解耦的空间区间（tunnel），并通过基于努力的时间拉伸将推进与患者横向努力耦合。
• 从患者肢体即时学习一个高斯混合回归模型，形成动态安全走廊，在力超过安全界限时触发轨迹逆转。

实验结果

研究问题

• RQ1 治疗师在 RGB-D 捕捉的演示能否编码为面向身体的6-DoF笛卡尔DMPs，并在不同患者解剖结构中泛化？
• RQ2 解耦的空间-时间控制结合基于努力的扩张是否能在被动、主动辅助、主动抗阻康复模式中实现安全、自我节奏的执行？
• RQ3 面向患者特定的GMR模型是否能有效检测异常交互力并安全地逆转轨迹以防止受伤？

主要发现

• 平均轨迹再现误差在各练习和受试者中为3.7 cm。
• 在经过验证的动作上，ROM（范围）误差约为5.5度。
• 正交导纳的虚拟隧道在显著正交力作用下保持空间一致性（基线测试最大空间偏差3.7 cm）。
• 基于力的扩张使被动、主动辅助和主动抗阻模式实现自我节奏的推进。
• 基于GMR的安全走廊在力违规约0.3 s内触发平滑的轨迹逆转，确保安全运行。