[论文解读] Multiplayer AlphaZero

Nick Petosa, Tucker Balch|arXiv (Cornell University)|Oct 29, 2019

Artificial Intelligence in Games参考文献 7被引用 12

一句话总结

本文提出 Multiplayer AlphaZero，即 AlphaZero 算法的改进版本，将自我对弈强化学习扩展至多人非零和博弈。通过将蒙特卡洛树搜索（MCTS）修改为轮流遍历所有玩家，并重新定义多智能体结果的价值头和策略头，该方法实现了有效的自我对弈训练。该方法在两款三玩家游戏——Tic-Tac-Mo 和 Connect 3x3 中成功训练出强大智能体，以更少的模拟次数持续优于 MCTS 基线模型，证明了将 AlphaZero 应用于多人博弈场景的可行性。

ABSTRACT

The AlphaZero algorithm has achieved superhuman performance in two-player, deterministic, zero-sum games where perfect information of the game state is available. This success has been demonstrated in Chess, Shogi, and Go where learning occurs solely through self-play. Many real-world applications (e.g., equity trading) require the consideration of a multiplayer environment. In this work, we suggest novel modifications of the AlphaZero algorithm to support multiplayer environments, and evaluate the approach in two simple 3-player games. Our experiments show that multiplayer AlphaZero learns successfully and consistently outperforms a competing approach: Monte Carlo tree search. These results suggest that our modified AlphaZero can learn effective strategies in multiplayer game scenarios. Our work supports the use of AlphaZero in multiplayer games and suggests future research for more complex environments.

研究动机与目标

• 将 AlphaZero 算法扩展至多人环境，因其最初是为两人零和博弈设计的。
• 探究自我对弈强化学习是否能有效训练非零和、多人博弈中具有完美信息的智能体。
• 开发并评估一种支持多玩家和非对称结果的改进 MCTS 与神经网络架构。
• 建立实证基准，用于评估 Multiplayer AlphaZero 相较于 MCTS 基线和人类玩家的表现。

提出的方法

• 修改 MCTS，在模拟过程中轮流遍历所有玩家，而非仅在两人之间交替，从而实现多智能体树搜索。
• 将单玩家价值头替换为多玩家价值头，输出每位玩家的期望效用向量。
• 保留策略头为动作的概率分布，但在搜索过程中根据当前玩家的视角进行调整。
• 采用自我对弈训练循环，智能体相互对战，并将转移状态存入经验回放缓冲区用于训练。
• 训练一个具有 SENet 类似架构的残差卷积神经网络，用于处理棋盘状态并预测价值和策略输出。
• 采用损失函数，结合均方误差用于价值预测，交叉熵用于策略预测，通过随机梯度下降进行优化。

实验结果

研究问题

• RQ1 通过架构和算法改进，能否成功将 AlphaZero 扩展至多人博弈？
• RQ2 在多人博弈场景中，改进后的 AlphaZero 算法是否在相同模拟次数下优于传统 MCTS？
• RQ3 在更深博弈树的多人博弈中，如 Connect 3x3，所学启发式策略的稳定性和泛化能力如何？
• RQ4 尽管收敛不完全，该智能体是否具备足够泛化能力以超越人类玩家？

主要发现

• 在 Tic-Tac-Mo 中，Multiplayer AlphaZero 仅用 50 次模拟便达到与 3000 次模拟的 MCTS 相当的性能，展现出极高的样本效率。
• 在 Tic-Tac-Mo 和 Connect 3x3 中，AlphaZero 随着模拟次数增加持续优于 MCTS 智能体，且保持非负得分差。
• 在 Connect 3x3 中，AlphaZero 对人类玩家胜率达到 79%，表明其在收敛不完全的情况下仍具备强大泛化能力。
• 神经网络损失在训练过程中保持稳定且未发散，表明知识有效整合并具备良好泛化能力。
• 尽管损失稳定，网络仍未完全收敛，表明需进一步调整超参数以掌握复杂多人博弈。
• 控制组的 MCTS 智能体在多数情况下被 AlphaZero 超越，即使模拟次数相同，证实了所学启发式策略的价值。