[论文解读] Using Deep Reinforcement Learning to Learn High-Level Policies on the ATRIAS Biped

Tianyu Li, Akshara Rai+2 more|arXiv (Cornell University)|Sep 28, 2018

Reinforcement Learning in Robotics参考文献 19被引用 4

一句话总结

本文提出一种结构化深度强化学习方法，用于在ATRIAS双足机器人上训练运动控制策略，其中神经网络在仿真中改进人工设计的启发式控制器。该方法在不使用领域随机化的情况下，实现了80%的成功硬件迁移率，显著优于纯神经网络策略，通过保持直观的控制器结构并减少仿真到硬件的领域差异，实现了性能提升。

ABSTRACT

Learning controllers for bipedal robots is a challenging problem, often requiring expert knowledge and extensive tuning of parameters that vary in different situations. Recently, deep reinforcement learning has shown promise at automatically learning controllers for complex systems in simulation. This has been followed by a push towards learning controllers that can be transferred between simulation and hardware, primarily with the use of domain randomization. However, domain randomization can make the problem of finding stable controllers even more challenging, especially for underactuated bipedal robots. In this work, we explore whether policies learned in simulation can be transferred to hardware with the use of high-fidelity simulators and structured controllers. We learn a neural network policy which is a part of a more structured controller. While the neural network is learned in simulation, the rest of the controller stays fixed, and can be tuned by the expert as needed. We show that using this approach can greatly speed up the rate of learning in simulation, as well as enable transfer of policies between simulation and hardware. We present our results on an ATRIAS robot and explore the effect of action spaces and cost functions on the rate of transfer between simulation and hardware. Our results show that structured policies can indeed be learned in simulation and implemented on hardware successfully. This has several advantages, as the structure preserves the intuitive nature of the policy, and the neural network improves the performance of the hand-designed policy. In this way, we propose a way of using neural networks to improve expert designed controllers, while maintaining ease of understanding.

研究动机与目标

• 解决将深度强化学习策略从仿真环境迁移到真实硬件的挑战，适用于双足机器人。
• 克服领域随机化带来的局限性，后者可能阻碍学习过程并在欠驱动系统上降低性能。
• 通过将神经网络嵌入结构化、专家设计的控制器框架中，提升策略的可迁移性。
• 实现在无需重新训练整个策略的前提下，支持人工参与控制器调优与适应。
• 证明结构化策略在硬件部署过程中，既能保持性能，又能增强鲁棒性与可解释性。

提出的方法

• 在ATRIAS机器人的高保真仿真环境中训练深度强化学习策略，引入地面高度扰动。
• 采用结构化控制器，其中神经网络预测状态相关的调整量（例如，期望高度、俯仰角、步态位置），以修正基础启发式控制策略。
• 保持核心控制器架构不变，仅在仿真中微调神经网络策略。
• 使用近端策略优化（PPO）训练神经网络策略，奖励函数侧重于实现稳定、高效的行走。
• 采用惩罚高扭矩的代价函数，以在训练期间鼓励保守、鲁棒的行为。
• 直接在真实ATRIAS机器人上测试训练好的策略，以评估迁移成功率和鲁棒性。

Figure 1 : Our test platform is CMU’s ATRIAS robot in a planar setup.

实验结果

研究问题

• RQ1 在不使用领域随机化的情况下，能否成功将仿真中训练的神经网络策略迁移到硬件？
• RQ2 与纯神经网络策略相比，混合神经-启发式控制器的结构如何影响策略的迁移性能？
• RQ3 动作空间和代价函数在提升仿真到硬件泛化能力方面起到什么作用？
• RQ4 是否可以在不重新训练的情况下，保留并修改专家知识于学习到的策略中？
• RQ5 仿真与硬件之间初始状态的不匹配如何影响策略迁移？结构化策略能否缓解这一问题？

主要发现

• 纯神经网络策略在从仿真迁移到硬件时仅实现了20%的成功率，主要由于初始腿部作用力过大导致跌倒。
• 结构化神经网络策略——即神经网络用于改进启发式控制器——在硬件上实现了80%的成功率，显著优于纯神经网络方法。
• 该结构化策略通过补偿仿真与硬件之间在腿部作用力上的差异，降低了初始扰动，使初始步态阶段更加稳定。
• 专家可在训练后修改控制器（例如，调整速度反馈增益），而无需重新训练，从而提升了对速度变化的鲁棒性。
• 采用惩罚高扭矩的代价函数后，结构化策略的迁移成功率提升至100%，表明保守训练可增强策略鲁棒性。
• 结构化策略在保留直观控制逻辑的同时，允许神经网络学习状态相关的改进，从而实现更好的扰动抑制能力，并支持更便捷的人工干预。

Figure 2 : Pipeline of the expert controller for controlling ATRIAS.