[论文解读] TiZero: Mastering Multi-Agent Football with Curriculum Learning and Self-Play

Fanqi Lin, Shi‐Yu Huang+3 more|arXiv (Cornell University)|Feb 15, 2023

Sports Analytics and PerformanceEconomics, Econometrics and Finance被引用 3

一句话总结

TiZero 引入了一种自演化多智能体强化学习系统，从零开始掌握完整的 11 对 11 Google Research Football 环境，采用自适应课程学习、一种新颖的挑战与泛化自对弈策略以及联合策略优化。其胜率较以往方法提升超过 30%，在复杂多智能体环境中展现出更优的协作与战略规划能力。

ABSTRACT

Multi-agent football poses an unsolved challenge in AI research. Existing work has focused on tackling simplified scenarios of the game, or else leveraging expert demonstrations. In this paper, we develop a multi-agent system to play the full 11 vs. 11 game mode, without demonstrations. This game mode contains aspects that present major challenges to modern reinforcement learning algorithms; multi-agent coordination, long-term planning, and non-transitivity. To address these challenges, we present TiZero; a self-evolving, multi-agent system that learns from scratch. TiZero introduces several innovations, including adaptive curriculum learning, a novel self-play strategy, and an objective that optimizes the policies of multiple agents jointly. Experimentally, it outperforms previous systems by a large margin on the Google Research Football environment, increasing win rates by over 30%. To demonstrate the generality of TiZero's innovations, they are assessed on several environments beyond football; Overcooked, Multi-agent Particle-Environment, Tic-Tac-Toe and Connect-Four.

研究动机与目标

• 解决在无专家示范的情况下，于复杂 11 对 11 Google Research Football 环境中训练强大多智能体策略的挑战。
• 克服多智能体强化学习中的关键障碍：多智能体协作、长期规划、稀疏奖励以及非传递性动态。
• 开发一种可扩展、去中心化的训练框架，使 10 名外场球员能在竞争性、随机性环境中有效协作。
• 通过在 Overcooked、MPE、井字棋和连环五子棋上的评估，证明该方法在足球之外的通用性。
• 通过结合课程学习与新颖的自对弈策略，实现 11 对 11 模式下的最先进性能，从而提升策略多样性与鲁棒性。

提出的方法

• 提出一种联合策略优化目标，同时训练多个智能体以提升协作能力与共享策略性能。
• 采用自适应课程学习，逐步增加环境复杂度，以稳定训练并加速策略收敛。
• 设计一种挑战与泛化自对弈策略，交替在更强对手与多样化、可泛化的策略上进行训练，以提升鲁棒性。
• 使用动态演化的自对弈对手池，确保智能体面对广泛策略，减少过拟合。
• 应用集中式训练与去中心化执行（CTDE）范式，实现高效的多智能体信用分配与策略优化。
• 采用具有共享编码器头与独立价值头的深度神经网络架构，以平衡参数效率与策略专业化。

Figure 1. Screenshot of Google Research Football. TiZero’s agents outperform previous systems by leveraging more coordinated strategies, such as passing more often and creating more assists.

实验结果

研究问题

• RQ1 无专家示范的情况下，多智能体强化学习系统是否能在 11 对 11 Google Research Football 环境中实现超人类表现？
• RQ2 自适应课程学习在复杂多智能体环境中如何提升训练稳定性与样本效率？
• RQ3 与标准自对弈相比，挑战与泛化自对弈策略在多大程度上提升了策略多样性与鲁棒性？
• RQ4 联合策略优化目标是否能显著改善多智能体协作与长期战略规划？
• RQ5 所提出的的方法创新在足球以外的多样化多智能体环境中具有多大通用性？

主要发现

• TiZero 在 11 对 11 Google Research Football 环境中，胜率相较以往方法提升 30% 以上，且进球差显著改善。
• 与以往基线相比，系统展现出更优的协作能力，例如传球频率更高、助攻创造更多。
• 挑战与泛化自对弈策略在井字棋上的多样性指数达到 8.11，优于基线（6.65–7.19），表明对手策略更具多样性与鲁棒性。
• 在 10 名球员的 GFootball 设置中，TiZero 的 GPU 显存消耗较 MAPPO 减少 38%（121 GB vs. 196 GB），证明其具备更优的可扩展性。
• 在多环境评估中，TiZero 在 Overcooked、MPE、井字棋与连环五子棋上表现优于或匹配最先进方法，证实了方法的通用性。
• 训练曲线显示，TiZero 在所有基准测试中收敛更快，最终性能更高，且训练耗时更短，优于 MAPPO、MAT 与 QMIX。

Figure 2. TiZero’s network architecture. Six types of information are required as input: the controlled player information, player ID, ball information, teammate information, opponent information and current match information. We use six separate MLPs with two (one for the ”player ID”) fully-connect