[论文解读] Reinforcement Learning Enabled Automatic Impedance Control of a Robotic Knee Prosthesis to Mimic the Intact Knee Motion in a Co-Adapting Environment

Ruofan Wu, Minhan Li+4 more|arXiv (Cornell University)|Jan 10, 2021

Prosthetics and Rehabilitation Robotics参考文献 29被引用 4

一句话总结

本研究提出了一种基于强化学习（RL）的在线策略迭代算法，使下肢膝关节假体能够在行走过程中实时自动跟踪健全膝关节的运动，适应人机协同动态。该方法在OpenSim仿真和人体受试者中成功复现了健全膝关节的运动学特征，展示了自适应阻抗控制能力，降低了跟踪误差，并揭示了个体化的步态适应模式。

ABSTRACT

Automatically configuring a robotic prosthesis to fit its user's needs and physical conditions is a great technical challenge and a roadblock to the adoption of the technology. Previously, we have successfully developed reinforcement learning (RL) solutions toward addressing this issue. Yet, our designs were based on using a subjectively prescribed target motion profile for the robotic knee during level ground walking. This is not realistic for different users and for different locomotion tasks. In this study for the first time, we investigated the feasibility of RL enabled automatic configuration of impedance parameter settings for a robotic knee to mimic the intact knee motion in a co-adapting environment. We successfully achieved such tracking control by an online policy iteration. We demonstrated our results in both OpenSim simulations and two able-bodied (AB) subjects.

研究动机与目标

• 解决临床环境中手动调节膝关节假体阻抗参数的挑战。
• 开发一种自动化的、数据驱动的方法，用于配置适应个体用户和动态行走条件的阻抗参数。
• 探讨实时测量的健全膝关节运动是否可作为假肢控制的生物相关且可测量的目标。
• 研究在RL控制下，假体与健全下肢在行走过程中如何协同适应。
• 评估在线强化学习策略迭代在真实人体试验和仿真中跟踪移动目标（健全膝关节轨迹）的可行性与性能。

提出的方法

• 采用基于强化学习（RL）的在线策略迭代算法，动态调节膝关节假体的阻抗参数。
• 假体的目标运动直接来自行走过程中健全膝关节的实时轨迹，作为虚拟约束。
• RL智能体通过与仿真环境（OpenSim）和真实人类环境的交互学习控制策略，以最小化跟踪误差为目标。
• 从健全膝关节运动中提取特征，包括识别关键相位转换点及峰值/谷值角度，以定义目标轨迹。
• 控制系统采用奖励函数，对膝关节角度和持续时间（时序）的偏差进行惩罚，以确保完整步态周期的精确跟踪。
• 初始策略从另一名受试者的训练会话中迁移，以加速收敛；尽管随机初始化在早期试验中也取得了成功。

实验结果

研究问题

• RQ1 强化学习能否实现膝关节假体在行走过程中自动、实时调节阻抗参数，以跟踪健全膝关节的运动？
• RQ2 当假体通过RL控制镜像健全膝关节轨迹时，健全下肢与假体在行走过程中如何协同适应？
• RQ3 镜像健全膝关节运动是否能在仿真和人体受试者中均实现更优的步态对称性与更低的跟踪误差？
• RQ4 当假体跟踪健全膝关节运动时，个体之间的步态适应模式有何差异？
• RQ5 基于RL的控制系统能否在不依赖预设或主观目标参数的情况下，实现对完整步态周期（包括支撑相与摆动相）的精确跟踪？

主要发现

• 基于RL的控制系统在OpenSim仿真和人体试验中均成功降低了跟踪误差，假体在整个步态周期中紧密复现了健全膝关节的运动。
• 受试者表现出显著的协同适应：在调参过程中，健全膝关节运动发生改变，AB1在支撑相增加屈曲，AB2则减少屈曲，表明存在个体化策略。
• 健全膝关节在摆动相未完全伸展，可能由于鞋跟垫高以补偿肢体长度，这可能改变了足跟触地的力学机制。
• 尽管人体实验中存在时间不对称性（可能由高跟鞋引起的步态改变所致），但OpenSim仿真显示在提升步态对称性方面具有显著潜力。
• 系统实现了3%的持续时间误差容限，允许相位间误差累积而不引起系统不稳定。
• 初步结果表明，RL驱动的镜像控制可能有助于实现更对称的步态模式，但需进一步在截肢受试者中开展研究以确认空间参数与负荷参数的对称性改善。