[论文解读] Physics-informed Deep Learning for Musculoskeletal Modelling: Predicting Muscle Forces and Joint Kinematics from Surface EMG

Jie Zhang, Yihui Zhao+5 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Jul 4, 2022

Muscle activation and electromyography studies被引用 22

一句话总结

一种以物理信息为基础的 CNN 框架通过在损失函数中将肌肉骨骼物理作为软约束，从表面 EMG 预测肌肉力和关节角，并在膝部和手腕数据集上进行验证。

ABSTRACT

Musculoskeletal models have been widely used for detailed biomechanical analysis to characterise various functional impairments given their ability to estimate movement variables (i.e., muscle forces and joint moment) which cannot be readily measured in vivo. Physics-based computational neuromusculoskeletal models can interpret the dynamic interaction between neural drive to muscles, muscle dynamics, body and joint kinematics and kinetics. Still, such set of solutions suffers from slowness, especially for the complex models, hindering the utility in real-time applications. In recent years, data-driven methods has emerged as a promising alternative due to the benefits in speedy and simple implementation, but they cannot reflect the underlying neuromechanical processes. This paper proposes a physics-informed deep learning framework for musculoskeletal modelling, where physics-based domain knowledge is brought into the data-driven model as soft constraints to penalise/regularise the data-driven model. We use the synchronous muscle forces and joint kinematics prediction from surface electromyogram (sEMG) as the exemplar to illustrate the proposed framework. Convolutional neural network (CNN) is employed as the deep neural network to implement the proposed framework. At the same time, the physics law between muscle forces and joint kinematics is used the soft constraint. Experimental validations on two groups of data, including one benchmark dataset and one self-collected dataset from six healthy subjects, are performed. The experimental results demonstrate the effectiveness and robustness of the proposed framework.

研究动机与目标

• 通过将基于物理的神经肌肉知识与数据驱动学习相结合，推动快速、准确的肌肉骨骼预测。
• 开发一个基于 CNN 的框架，将 EMG 信号映射到肌肉力和关节运动学。
• 在训练中将将肌肉力与关节运动相关的物理定律作为软约束纳入。
• 在基准步态和腕部运动数据集上展示鲁棒性和泛化能力。

提出的方法

• 使用 CNN 将时间序列 EMG 和时间步映射到肌肉力和关节角度。
• 将总损失公式化为 L_total = L_F + L_θ + L_P，其中 L_F 和 L_θ 是力和角度的均方误差损失，L_P 强制执行基于物理的运动方程。
• L_P 来自 M(θ)θ¨ + C(θ,θ˙) + G(θ) = τ，其中 τ = Σ r_n F^n_t，对偏离牛顿-欧拉动力学进行惩罚。
• 设计一个轻量级 CNN：一个卷积块、两个全连接块和一个回归块；使用 SGD 训练，批大小 1，迭代 1200 次，学习率 0.01， dropout 0.3。
• 展示将 CNN 替换为其他架构（如 LSTM、GAN）以及添加更多物理约束（Hill 模型、激活动力学）的灵活性。
• 在膝部和手腕数据集上使用 RMSE 和 Pearson CC 进行评估，并与 CNN、ML-ELM、ELM 和 SVR 进行比较。

实验结果

研究问题

• RQ1 一个以物理信息为基础的 CNN 能否从表面 EMG 准确预测肌肉力和关节运动学。
• RQ2 将物理作为软约束嵌入是否比纯数据驱动模型提高鲁棒性和泛化能力？
• RQ3 该框架在不同受试者和会话中的膝部与手腕运动表现如何？
• RQ4 在包含物理约束时，训练数据大小对性能的影响为何？
• RQ5 该框架对其他神经网络架构和额外物理定律有多灵活？

主要发现

• 所提出的以物理信息为基础的 CNN 在大多数受试者的膝部和手腕案例中，相较于基线方法获得更低的 RMSE 和更高的 CC。
• 嵌入物理约束提高鲁棒性，减少过拟合，使在较小的训练数据集上也能获得良好性能。
• 在某些情况下，使用更简单网络的框架有时可以达到甚至超过深层 CNN 基线的性能，显示了基于物理的正则化的优势。
• 在同次会话情景中，随着步态速度变化，该框架仍比大多数基线更鲁棒。
• 训练数据规模影响所有模型，但带物理信息的方法在样本更少时表现出更快收敛和更好性能。