[论文解读] Reinforcement Learning with Adaptive Curriculum Dynamics Randomization for Fault-Tolerant Robot Control

Wataru Okamoto, Hiroshi Kera+1 more|arXiv (Cornell University)|Nov 19, 2021

Reinforcement Learning in Robotics参考文献 28被引用 5

一句话总结

本文提出了一种自适应课程动力学随机化（ACDR）算法，用于通过强化学习实现四足机器人的容错控制。通过应用从难到易的课程——首先在严重执行器故障下进行训练——该方法学习到一个单一的鲁棒策略，能够泛化到现实世界中的故障，而无需依赖故障诊断模块。ACDR方法在平均奖励和行走距离方面均优于传统方法。

ABSTRACT

This study is aimed at addressing the problem of fault tolerance of quadruped robots to actuator failure, which is critical for robots operating in remote or extreme environments. In particular, an adaptive curriculum reinforcement learning algorithm with dynamics randomization (ACDR) is established. The ACDR algorithm can adaptively train a quadruped robot in random actuator failure conditions and formulate a single robust policy for fault-tolerant robot control. It is noted that the hard2easy curriculum is more effective than the easy2hard curriculum for quadruped robot locomotion. The ACDR algorithm can be used to build a robot system that does not require additional modules for detecting actuator failures and switching policies. Experimental results show that the ACDR algorithm outperforms conventional algorithms in terms of the average reward and walking distance.

研究动机与目标

• 解决四足机器人在偏远或极端环境中运行时面临的容错挑战，这些环境中执行器故障常见且维修不可行。
• 通过强化学习学习统一的鲁棒控制策略，消除对独立故障检测和策略切换模块的需求。
• 通过结合领域随机化与课程学习，改善仿真到现实（Sim2Real）之间的泛化差距。
• 探究从难到易的课程（先训练高鲁棒性）是否在容错运动方面优于传统从易到难的课程。
• 开发一种训练框架，使四足机器人即使在单个或多个执行器失效的情况下也能保持运动，且无需事先了解故障状态。

提出的方法

• ACDR算法通过改变控制执行器故障严重程度的故障系数 $k$ 实现动力学随机化，使智能体在模拟中暴露于广泛的故障条件。
• 实施从难到易的课程，训练从高故障严重度（$k=1.4$）开始，逐步降低至 $k=0.0$，模拟条件逐渐稳定。
• 通过深度强化学习端到端训练策略，以最大化鼓励前进和稳定性的任务特定奖励函数。
• 在早期阶段避免在 $k=0.0$（完全腿部失效）下进行训练，因为这可能导致策略因过度拟合极端故障状态而性能下降。
• 算法集成自适应课程调度，根据学习进度动态调整故障系数，从而提升样本效率和鲁棒性。
• 最终策略在仿真和真实世界测试中直接部署，无需额外调整或故障检测模块。

实验结果

研究问题

• RQ1 是否可以通过强化学习学习到一个单一的鲁棒策略，使四足机器人在各种执行器故障条件下仍能保持运动？
• RQ2 从难到易的课程（先在严重故障下训练）是否相比从易到难的课程能提升容错性能？
• RQ3 结合领域随机化与自适应课程学习是否能有效减少腿式机器人在Sim2Real部署中的现实差距？
• RQ4 是否必须在最极端的故障状态（$k=0.0$）下训练智能体，才能实现鲁棒的容错能力？
• RQ5 ACDR算法在平均奖励和行走距离方面与非课程和非随机化基线方法相比如何？

主要发现

• ACDR算法在各种故障系数下，平均奖励和行走距离方面均优于传统强化学习方法。
• 从难到易课程始终获得比从易到难课程更高的平均奖励，后者因在 $k=0.0$ 阶段训练过晚而性能下降。
• 在 $k=0.0$ 附近训练并非实现容错所必需，因为机器人可以在未显式训练于该条件的情况下泛化到完全腿部失效。
• ACDR_h2e 在整个故障系数范围 $k \in [0,1]$ 内的平均奖励均保持较高水平，表明其对未见故障水平具有强大的泛化能力。
• 实验表明，在训练期间避免 $k=0.0$ 显著提升了策略性能，尤其对从易到难课程方法更为明显。
• ACDR框架实现了无需额外故障诊断或策略切换模块的容错机器人系统，简化了实际部署。