[论文解读] MyoSuite -- A contact-rich simulation suite for musculoskeletal motor control

Vittorio Caggiano, Huawei Wang+3 more|arXiv (Cornell University)|May 26, 2022

Muscle activation and electromyography studies被引用 38

一句话总结

MyoSuite 在 MuJoCo 中提供生理学上准确的肌肉骨骼模型，具备204项高接触任务，支持非静态运动学习并为灵巧控制建立基线。

ABSTRACT

Embodied agents in continuous control domains have had limited exposure to tasks allowing to explore musculoskeletal properties that enable agile and nimble behaviors in biological beings. The sophistication behind neuro-musculoskeletal control can pose new challenges for the motor learning community. At the same time, agents solving complex neural control problems allow impact in fields such as neuro-rehabilitation, as well as collaborative-robotics. Human biomechanics underlies complex multi-joint-multi-actuator musculoskeletal systems. The sensory-motor system relies on a range of sensory-contact rich and proprioceptive inputs that define and condition muscle actuation required to exhibit intelligent behaviors in the physical world. Current frameworks for musculoskeletal control do not support physiological sophistication of the musculoskeletal systems along with physical world interaction capabilities. In addition, they are neither embedded in complex and skillful motor tasks nor are computationally effective and scalable to study large-scale learning paradigms. Here, we present MyoSuite -- a suite of physiologically accurate biomechanical models of elbow, wrist, and hand, with physical contact capabilities, which allow learning of complex and skillful contact-rich real-world tasks. We provide diverse motor-control challenges: from simple postural control to skilled hand-object interactions such as turning a key, twirling a pen, rotating two balls in one hand, etc. By supporting physiological alterations in musculoskeletal geometry (tendon transfer), assistive devices (exoskeleton assistance), and muscle contraction dynamics (muscle fatigue, sarcopenia), we present real-life tasks with temporal changes, thereby exposing realistic non-stationary conditions in our tasks which most continuous control benchmarks lack.

研究动机与目标

• 激发具身人工智能研究具现实生理特征与接近真实世界任务的肌肉骨骼运动控制。
• 提供一种快速、自动化的管线，将 OpenSim 模型转换为与 MuJoCo 兼容的模型。
• 开发一系列灵巧的手、肘部和手指任务，具有不同难度和非静态性。
• 引入非静态因素（肌肉萎缩、疲劳、肌腱转移、外骨骼）以研究适应性。
• 提供基线结果与对复杂肌肉骨骼系统学习控制策略的见解。

提出的方法

• 提出一个与模型无关的管线（MyoSim），将 OpenSim 的肌肉骨骼模型转换为等效的 MuJoCo 模型，包含几何传递、力矩臂优化和肌肉力优化。
• 创建一套生理学准确的 MuJoCo 模型库：MyoFinger（4 个自由度，5 块肌肉）、MyoElbow（1 个自由度，6 块肌肉）、MyoHand（29 根骨、23 个关节、39 块肌肉）。
• 设计 9 个任务族，覆盖从简单到复杂的灵巧操作（例如：手指姿态、指尖触达、按键旋转、笔旋转、保定球等），含两种难度等级和多种重置，合计产生 204 项任务。
• 融入现实的非静态性（肌少、疲劳、肌腱转移、外骨骼辅助），以创建非静态任务条件。
• 使用自然策略梯度提供基线强化学习结果，并分析策略行为、样本效率与定性运动。

实验结果

研究问题

• RQ1 如何在保留解剖保真度的前提下，快速、接触丰富地将 OpenSim 肌肉骨骼模型转换为 MuJoCo 模型？
• RQ2 在不同难度和非静态条件下，基于学习的控制器在一组生理现实的灵巧任务上的表现如何？
• RQ3 肌少、疲劳、肌腱转移和外骨骼辅助等非静态效应如何影响控制策略和肌肉激活？
• RQ4 策略能否适应固有的非静态性并在手术或类似伤害引起的扰动后恢复控制？
• RQ5 通过在高维肌肉骨骼系统中学习所获得的运动控制与肌肉协同的洞见有哪些？

主要发现

• MuJoCo 模型在解剖结构和动力学方面与 OpenSim 的对齐接近，肌肉力臂均方根误差约为 0.04–0.38%，力的均方根误差约为 Fmax 的 2.2–4.1%。
• 前向仿真在 MuJoCo 中比 OpenSim 快数个数量级（60 倍到 4000 倍），从而实现可扩展的实验。
• 使用自然策略梯度的基线强化学习解决了若干任务，包括手指和手部协调任务，尽管像 Baoding balls 这类更复杂的任务需要显著更多的样本（某些种子下超过 7000 万）。
• 非静态扰动揭示了补偿性肌肉激活和协同策略，例如辅助肌肉在疲劳或主肌肉衰弱时对其提供支持。
• 肌腱转移实验表明在动作空间重新映射后需要重新学习，凸显结构性改变后的适应需求。
• 外骨骼辅助降低了达到目标角度所需的肌肉激活，展示了人机协作潜在的效率提升。