[论文解读] Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking: A Survey

Kuangen Zhang, Clarence W. de Silva+1 more|arXiv (Cornell University)|Mar 18, 2019

Prosthetics and Rehabilitation Robotics参考文献 59被引用 22

一句话总结

本综述提出了一种用于辅助行走中人体-假肢-环境动态系统预测控制的传感器融合框架，通过整合多模态传感器（IMU、EMG、视觉）提升意图识别与环境感知能力。通过融合静态特征与深度特征并结合在线学习，实现了在复杂环境中对动力下肢假肢的鲁棒、自适应控制。

ABSTRACT

This survey paper concerns Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking. The powered lower limb prosthesis can imitate the human limb motion and help amputees to recover the walking ability, but it is still a challenge for amputees to walk in complex environments with the powered prosthesis. Previous researchers mainly focused on the interaction between a human and the prosthesis without considering the environmental information, which can provide an environmental context for human-prosthesis interaction. Therefore, in this review, recent sensor fusion methods for the predictive control of human-prosthesis-environment dynamics in assistive walking are critically surveyed. In that backdrop, several pertinent research issues that need further investigation are presented. In particular, general controllers, comparison of sensors, and complete procedures of sensor fusion methods that are applicable in assistive walking are introduced. Also, possible sensor fusion research for human-prosthesis-environment dynamics is presented.

研究动机与目标

• 通过整合人体-假肢-环境动态系统，解决现有假肢控制方法忽略环境背景的局限性。
• 通过鲁棒的传感器融合方法克服用户依赖性与非平稳传感器信号（如EMG、MMG）的影响，实现可靠的意图预测。
• 通过融合环境感知与人体运动意图识别，重建视觉-行走回路，实现预测性行走控制。
• 通过在线数据集更新与自适应训练，提升高层假肢控制器的长期性能。
• 推进分类与回归在传感器融合中的集成，以增强关节力矩估计与控制鲁棒性。

提出的方法

• 采用分层控制架构，包含高层、中层与底层控制器，重点聚焦于高层控制器的传感器融合。
• 通过融合技术整合多种传感器——IMU用于运动学感知，EMG用于神经肌肉意图识别，视觉用于环境上下文理解。
• 从信号中提取静态特征（如运动学模型、肌腱动力学模型），以提升跨用户与跨会话的泛化能力。
• 利用深度神经网络从原始传感器数据中自动学习深度特征，同时对模型复杂度施加约束以确保实时性。
• 通过延迟的IMU活动识别（用于标注）实现在线数据集更新，对非平稳信号（如EMG）进行持续再训练。
• 通过传感器融合联合整合分类（运动基元）与回归（关节力矩）输出，以提升控制精度与平滑性。

实验结果

研究问题

• RQ1 当单个传感器受噪声与用户依赖性限制时，传感器融合如何提升动力下肢假肢中人类行走意图的预测性能？
• RQ2 环境上下文在复杂行走环境中对提升假肢控制精度与鲁棒性方面起到何种作用？
• RQ3 如何从非平稳可穿戴信号（如EMG、MMG）中提取静态或深度特征，以提升跨用户与时间的泛化能力？
• RQ4 在线数据集更新与再训练对假肢控制中意图识别模型长期性能的影响如何？
• RQ5 如何通过传感器融合联合优化运动基元分类与关节力矩回归，以获得更优的控制结果？

主要发现

• IMU、EMG与视觉数据的传感器融合显著提升了人类运动意图识别的鲁棒性与准确性，优于单一传感器方法。
• 从运动学与肌腱动力学模型中提取的静态特征，增强了高层控制器在不同用户与会话间的泛化能力。
• 通过基于延迟IMU的活动识别实现的在线数据集更新，支持持续再训练，保持了对非平稳信号（如EMG）的高精度识别。
• 通过传感器融合联合整合运动基元分类与关节力矩回归，相比直接比例控制，实现了更稳定、更具预测性的控制效果。
• 深度神经网络能够有效从原始传感器数据中学习判别性特征，但需施加架构约束以确保在假肢系统中的实时适用性。
• 将环境感知与人类意图识别相融合，重建了视觉-行走回路，实现了在复杂环境中的自适应导航。