[论文解读] Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES

Nat Wannawas, Ali Shafti+1 more|arXiv (Cornell University)|Sep 16, 2022

Muscle activation and electromyography studies被引用 7

一句话总结

本文提出了一种神经肌肉强化学习（RL）框架，用于控制功能性电刺激（FES）以驱动瘫痪肢体，采用循环神经网络（RNN）建模非马尔可夫肌肉动力学，实现长期稳定的控制。该方法在维持长期性能方面优于传统PID控制器，并在仿真和实际实验中均产生了更有效的刺激模式。

ABSTRACT

Functional Electrical Stimulation (FES) is a technique to evoke muscle contraction through low-energy electrical signals. FES can animate paralysed limbs. Yet, an open challenge remains on how to apply FES to achieve desired movements. This challenge is accentuated by the complexities of human bodies and the non-stationarities of the muscles' responses. The former causes difficulties in performing inverse dynamics, and the latter causes control performance to degrade over extended periods of use. Here, we engage the challenge via a data-driven approach. Specifically, we learn to control FES through Reinforcement Learning (RL) which can automatically customise the stimulation for the patients. However, RL typically has Markovian assumptions while FES control systems are non-Markovian because of the non-stationarities. To deal with this problem, we use a recurrent neural network to create Markovian state representations. We cast FES controls into RL problems and train RL agents to control FES in different settings in both simulations and the real world. The results show that our RL controllers can maintain control performances over long periods and have better stimulation characteristics than PID controllers.

研究动机与目标

• 为解决在非平稳肌肉反应下实现精确、持久的FES诱导运动的挑战。
• 通过建模肌肉动力学中的时间依赖性，克服FES控制中马尔可夫RL假设的局限性。
• 开发一种数据驱动、患者个性化的FES控制系统，以适应个体神经肌肉差异。
• 在仿真和真实世界环境中，评估RL控制器与传统PID控制的性能表现。

提出的方法

• 将FES控制建模为强化学习问题，设计奖励函数以最小化跟踪误差和刺激能量。
• 使用循环神经网络（RNN）将依赖历史的肌肉响应编码为马尔可夫状态表示，从而实现稳定的RL训练。
• 在模拟的神经肌肉动力学上训练深度RL智能体（如SAC或PPO），以学习最优刺激模式。
• 通过表面电极的人体受试者实验设置，将训练好的策略迁移到真实世界的FES系统中。
• 引入实时反馈和自适应奖励重塑，以在长时间会话中保持性能。
• 从跟踪精度和刺激能量两方面，对比RL控制器与基线PID控制器的性能表现。

实验结果

研究问题

• RQ1 强化学习智能体是否能够在存在非平稳肌肉反应的情况下，学习控制FES以实现期望的肢体运动？
• RQ2 与标准马尔可夫RL相比，使用RNN是否能显著提升基于RL的FES控制的稳定性和性能？
• RQ3 该RL控制器是否能在长时间内维持控制性能，以满足临床应用的需求？
• RQ4 在跟踪精度和刺激能量效率方面，RL控制器与PID控制器相比表现如何？
• RQ5 该RL策略是否能在不同个体和神经肌肉状况下实现泛化？

主要发现

• RL控制器在长时间内保持了高跟踪精度，表现出对肌肉疲劳和非平稳性的鲁棒性。
• 基于RNN的状态表示相比非循环模型，显著提升了学习稳定性和性能。
• 与PID基线相比，RL控制器在保持或提升跟踪性能的同时，实现了更低的刺激能量消耗。
• 在真实世界实验中，RL策略在不同受试者间实现了泛化，显示出患者个性化定制的潜力。
• 该系统在多次会话中表现出稳定性能，表明其在临床应用中具备长期可行性。