[论文解读] Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games.

Peng Peng, Quan Yuan+5 more|arXiv (Cornell University)|Mar 29, 2017

Reinforcement Learning in Robotics参考文献 29被引用 171

一句话总结

本文提出BiCNet，一种基于向量化演员-评论家框架的多智能体双向协调网络，可在星际争霸战斗游戏中实现可扩展、通信高效的智能体协调。无需人类示范，BiCNet能在不同数量的智能体和地形条件下学习多样化的、类人协调策略，在多智能体战斗场景中达到最先进性能。

ABSTRACT

Real-world artificial intelligence (AI) applications often require multiple agents to work in a collaborative effort. Efficient learning for intra-agent communication and coordination is an indispensable step towards general AI. In this paper, we take StarCraft combat game as the test scenario, where the task is to coordinate multiple agents as a team to defeat their enemies. To maintain a scalable yet effective communication protocol, we introduce a multiagent bidirectionally-coordinated network (BiCNet ['bIknet]) with a vectorised extension of actor-critic formulation. We show that BiCNet can handle different types of combats under diverse terrains with arbitrary numbers of AI agents for both sides. Our analysis demonstrates that without any supervisions such as human demonstrations or labelled data, BiCNet could learn various types of coordination strategies that is similar to these of experienced game players. Moreover, BiCNet is easily adaptable to the tasks with heterogeneous agents. In our experiments, we evaluate our approach against multiple baselines under different scenarios; it shows state-of-the-art performance, and possesses potential values for large-scale real-world applications.

研究动机与目标

• 在类似星际争霸的复杂、动态战斗环境中，实现多个AI智能体之间的高效、可扩展协调。
• 开发一种通信协议，无论智能体数量或地形复杂度如何，均能保持有效性。
• 在无需人类示范或标注数据的情况下学习协调策略，模拟专家级游戏水平。
• 支持异构智能体在协作战斗任务中的应用，提升现实世界适用性。
• 在实时战略游戏的多智能体强化学习中实现最先进性能。

提出的方法

• 提出BiCNet，一种具有智能体间双向通信的多智能体深度强化学习框架，以增强协调能力。
• 采用演员-评论家算法的向量化扩展，实现跨不同智能体数量的高效扩展。
• 设计一种通信机制，使智能体能够双向交换信息，提升联合决策能力。
• 采用集中式评论家与去中心化执行相结合的方式，在通信效率与策略优化之间取得平衡。
• 完全不依赖人类示范或标注数据，仅依靠环境反馈进行自监督学习。
• 通过共享通信协议保持联合协调，同时为个体智能体适配独立策略，支持异构智能体。

实验结果

研究问题

• RQ1 多智能体深度强化学习框架是否能在无任何人类示范的情况下，学习到星际争霸战斗中的有效协调策略？
• RQ2 BiCNet中的双向通信机制在不同数量的智能体和不同地形类型下扩展性能如何？
• RQ3 BiCNet在多大程度上能模拟专家对战中观察到的类人协调策略？
• RQ4 在不同智能体数量的多样化战斗场景中，BiCNet相较于现有基线模型表现如何？
• RQ5 BiCNet是否能在包含异构智能体的任务中实现泛化，同时保持高协调效率？

主要发现

• BiCNet在无需任何人类示范或标注数据的情况下，成功学习到多样化的星际争霸战斗协调策略。
• 该框架在不同数量的智能体和地形类型间具有良好的泛化能力，在各种战斗场景中均保持高性能。
• 与多个基线模型相比，BiCNet在所有评估场景中均达到最先进性能。
• 双向通信机制显著提升了协调效率与团队级决策能力。
• 该模型对异构智能体表现出强大的适应能力，可在混合智能体团队中实现有效协作。
• 向量化演员-评论家结构实现了可扩展的训练与推理，支持大规模多智能体应用。