[论文解读] Run, skeleton, run: skeletal model in a physics-based simulation

Mikhail Pavlov, Sergey Kolesnikov+1 more|arXiv (Cornell University)|Nov 18, 2017

Reinforcement Learning in Robotics参考文献 19被引用 6

一句话总结

本文提出一种基于物理的强化学习方法，利用 OpenSim 中的骨骼肌骨骼模型，训练一个类人智能体在障碍物赛道上快速奔跑。作者证明，采用层归一化、参数噪声和动作/状态反射的 DDPG 方法在样本效率和性能方面表现最佳，在 NIPS 2017 年 'Learning to Run' 竞赛中获得第三名，最高回报为 38.46（在 20 个线程上）。

ABSTRACT

In this paper, we present our approach to solve a physics-based reinforcement learning challenge "Learning to Run" with objective to train physiologically-based human model to navigate a complex obstacle course as quickly as possible. The environment is computationally expensive, has a high-dimensional continuous action space and is stochastic. We benchmark state of the art policy-gradient methods and test several improvements, such as layer normalization, parameter noise, action and state reflecting, to stabilize training and improve its sample-efficiency. We found that the Deep Deterministic Policy Gradient method is the most efficient method for this environment and the improvements we have introduced help to stabilize training. Learned models are able to generalize to new physical scenarios, e.g. different obstacle courses.

研究动机与目标

• 使用 OpenSim 中基于生理学的人体模型，在基于物理的仿真环境中解决 NIPS 2017 年 'Learning to Run' 挑战。
• 评估并提升在高维、随机性且计算成本高的环境中的样本效率。
• 研究架构和训练优化对复杂运动任务中策略梯度方法的影响。
• 开发一种能够适应新障碍物赛道的鲁棒且可泛化的控制器。

提出的方法

• 在 OpenSim 中使用包含身体部位位置、速度和障碍物位置的 41 维状态空间的骨骼肌骨骼模型。
• 采用深度确定性策略梯度（DDPG）作为核心算法，因其具有异策略特性及经验回放，可提升样本效率。
• 应用层归一化以稳定训练过程，并改善不同网络层之间的泛化能力。
• 集成参数噪声和动作/状态反射，以增强探索能力并提升肌肉控制的对称性。
• 使用大小为 5e6 的回放缓冲区，并对演员和评论家网络采用线性衰减的学习率，结合 Adam 优化。
• 通过在 8 和 20 个并行线程上进行消融实验，评估各项优化对性能和稳定性的影响。

实验结果

研究问题

• RQ1 在高维、随机性且计算成本高的基于物理的环境中，哪种策略梯度方法表现最佳？
• RQ2 架构和训练优化（如层归一化和参数噪声）如何影响学习稳定性和样本效率？
• RQ3 动作和状态反射在运动任务中在多大程度上提升了学习对称性和性能？
• RQ4 训练好的控制器能否泛化到训练过程中未见过的新障碍物赛道？
• RQ5 并行训练线程的数量在多大程度上影响最终性能和模型排名？

主要发现

• 由于其异策略特性及经验回放机制，DDPG 在该环境中优于 PPO 和 TRPO，实现了更高的样本效率。
• 层归一化、参数噪声和动作/状态反射的组合取得了最佳性能，在 20 个线程上达到最高回报 38.46。
• 动作和状态反射使有效训练数据翻倍，并改善了肌肉激活的对称性，从而产生更自然的跑步行为。
• 层归一化在稳定参数噪声方面至关重要；若无层归一化，即使使用噪声，性能也显著下降。
• 在 8 和 20 个线程下，模型排名保持稳定，尽管性能随并行度提升而显著增强。
• 最终模型在新障碍物赛道上表现出良好的泛化能力，证明了所学策略的鲁棒性和可迁移性。