[论文解读] TeachMyAgent: a Benchmark for Automatic Curriculum Learning in Deep RL

Clément Romac, Rémy Portelas+2 more|arXiv (Cornell University)|Mar 17, 2021

Reinforcement Learning in Robotics参考文献 60被引用 4

一句话总结

本文提出 TeachMyAgent，一个用于深度强化学习中自动课程学习（ACL）的基准，包含如 Box2D 双足行走者和复杂攀岩环境等程序化环境。该研究评估了多种 ACL 算法，结果显示 ALP-GMM 和 Covar-GMM 显著优于随机任务选择，而攀岩环境目前仍是现有方法面临的重大挑战。

ABSTRACT

Training autonomous agents able to generalize to multiple tasks is a key target of Deep Reinforcement Learning (DRL) research. In parallel to improving DRL algorithms themselves, Automatic Curriculum Learning (ACL) study how teacher algorithms can train DRL agents more efficiently by adapting task selection to their evolving abilities. While multiple standard benchmarks exist to compare DRL agents, there is currently no such thing for ACL algorithms. Thus, comparing existing approaches is difficult, as too many experimental parameters differ from paper to paper. In this work, we identify several key challenges faced by ACL algorithms. Based on these, we present TeachMyAgent (TA), a benchmark of current ACL algorithms leveraging procedural task generation. It includes 1) challenge-specific unit-tests using variants of a procedural Box2D bipedal walker environment, and 2) a new procedural Parkour environment combining most ACL challenges, making it ideal for global performance assessment. We then use TeachMyAgent to conduct a comparative study of representative existing approaches, showcasing the competitiveness of some ACL algorithms that do not use expert knowledge. We also show that the Parkour environment remains an open problem. We open-source our environments, all studied ACL algorithms (collected from open-source code or re-implemented), and DRL students in a Python package available at https://github.com/flowersteam/TeachMyAgent.

研究动机与目标

• 为解决深度强化学习（DRL）中自动课程学习（ACL）算法缺乏标准化基准的问题。
• 识别 ACL 中的关键挑战，如任务空间复杂性、可行性与泛化能力，这些因素阻碍了算法比较与进展。
• 开发一个统一的基准，通过程序化任务生成，实现 ACL 方法的公平、可复现且可扩展的评估。
• 在多种 DRL 学生模型和任务形态上评估现有 ACL 算法，揭示性能差距与局限性。
• 开源环境、算法和 DRL 学生模型，以加速研究并促进社区范围内的比较。

提出的方法

• 设计一个包含两个程序化环境的基准：一个基于 Box2D 的双足行走者（含单元测试变体）和一个结合多种 ACL 挑战的新攀岩环境。
• 实现 8 种具有代表性的 ACL 算法——ALP-GMM、Covar-GMM、GoalGAN、RIAC、SPDL、Setter-Solver、ADR 和 Random——以实现直接比较。
• 通过 CPPNs 实现程序化内容生成（PCG），创建多样化、可扩展且具有挑战性的课程学习任务空间。
• 在 3 种 DRL 学生形态（双足行走者、鱼类、攀岩者）和每种设置下 16 个随机种子上评估所有 ACL 方法，以确保统计稳健性。
• 定期应用统计检验（Welch’s t-test）以确定 ACL 方法与随机基线之间的显著性能差异。
• 通过 Python 包在 https://github.com/flowersteam/TeachMyAgent 开源所有环境、算法和 DRL 模型。

实验结果

研究问题

• RQ1 标准化基准能否提升深度强化学习中 ACL 算法评估的可比性与可复现性？
• RQ2 在多种 DRL 学生架构和任务形态下，哪些 ACL 算法表现最佳？
• RQ3 在复杂、程序化环境中，无需专家知识的 ACL 方法在多大程度上优于随机任务选择？
• RQ4 为何当前 ACL 方法无法掌握如攀岩环境中的复杂运动任务（如攀爬）？
• RQ5 简化任务空间是否能揭示现有 ACL 算法的真实潜力？

主要发现

• ALP-GMM 在所有形态中显著优于随机任务选择，在双足行走者上成功掌握 42.7% 的任务，在攀岩环境中总体掌握率达 26.4%。
• Covar-GMM 和 RIAC 表现接近 ALP-GMM，分别在双足行走者上掌握 35.7% 和 31.2% 的任务，表明其具有强大的泛化能力。
• SPDL 和 Setter-Solver 表现与随机相当，分别在双足行走者上掌握 30.6% 和 28.75% 的任务，且未能显著优于随机选择。
• ADR 早期即达到性能平台期，在双足行走者上仅掌握 14.7% 的任务，某些情况下甚至显著劣于随机选择。
• 在无水的简化任务空间中，随机教师可掌握 6% 的任务（最佳种子达 30%），表明当前 ACL 方法在复杂环境中未能发现可行的子空间。
• 攀岩环境仍是开放性挑战，因为没有一种 ACL 方法在攀爬形态上的掌握率超过 1%，表明当前课程发现机制存在局限性。