[论文解读] PerfectDou: Dominating DouDizhu with Perfect Information Distillation

Yang Guan, Minghuan Liu+5 more|arXiv (Cornell University)|Mar 30, 2022

Reinforcement Learning in Robotics被引用 14

一句话总结

本文提出 PerfectDou，一种用于斗地主的最先进AI系统，采用完美信息蒸馏技术的完美训练-不完美执行（PTIE）框架。通过在完全信息环境下训练，并在部署时仅使用不完全信息的策略，PerfectDou 实现了卓越的性能和样本效率，在10,000副牌的比赛中表现优于所有先前的AI系统，且样本需求更低、推理延迟更低。

ABSTRACT

As a challenging multi-player card game, DouDizhu has recently drawn much attention for analyzing competition and collaboration in imperfect-information games. In this paper, we propose PerfectDou, a state-of-the-art DouDizhu AI system that dominates the game, in an actor-critic framework with a proposed technique named perfect information distillation. In detail, we adopt a perfect-training-imperfect-execution framework that allows the agents to utilize the global information to guide the training of the policies as if it is a perfect information game and the trained policies can be used to play the imperfect information game during the actual gameplay. To this end, we characterize card and game features for DouDizhu to represent the perfect and imperfect information. To train our system, we adopt proximal policy optimization with generalized advantage estimation in a parallel training paradigm. In experiments we show how and why PerfectDou beats all existing AI programs, and achieves state-of-the-art performance.

研究动机与目标

• 为解决现有斗地主AI系统（特别是DouZero在复杂战斗场景中的战略缺陷）的局限性。
• 开发一种更稳健、更理性的AI策略，以更好地捕捉三人不完全信息游戏中合作与竞争的动态。
• 在保持真实部署环境中高性能的前提下，提升样本效率和推理速度。
• 证明完美信息蒸馏能够增强策略学习，同时不损害对不完全信息游戏的泛化能力。
• 验证PTIE范式在具有大动作空间和隐藏信息的复杂非对称卡牌游戏中之有效性。

提出的方法

• 提出一种完美训练-不完美执行（PTIE）框架，作为CTDE的变体，其中智能体在训练时可访问完整游戏状态，但在部署时仅基于不完全信息进行推理。
• 设计专门的卡牌与游戏特征，以同时表示完美信息与不完全信息，从而实现将全局知识有效蒸馏至本地策略。
• 在自对弈、分布式训练设置中采用近端策略优化（PPO）与广义优势估计（GAE）来优化策略。
• 引入节点级奖励机制，以提升训练过程中策略的合理性与战略一致性。
• 使用基于完美信息训练的中心化价值函数来引导策略学习，使策略能够隐式地从全局游戏状态中学习。
• 通过轻量化网络架构与特征处理优化推理效率，实现实时部署。

实验结果

研究问题

• RQ1 完美信息蒸馏技术是否能显著提升斗地主等不完全信息游戏中策略的性能？
• RQ2 在复杂卡牌游戏中，PTIE框架相较于标准CTDE在样本效率与最终性能方面表现如何？
• RQ3 PerfectDou 在战略推理与队友协作方面，相较于现有AI系统（如DouZero）的优越程度如何？
• RQ4 PerfectDou 的推理延迟是多少？在实时在线游戏部署场景中，其表现与先前系统相比如何？
• RQ5 在训练中使用完美信息，对高风险游戏场景下策略的合理性与一致性有何影响？

主要发现

• PerfectDou 在10,000副牌比赛中达到最先进性能，优于所有现有AI系统，包括DouZero。
• 该系统所需的训练样本数量比先前最先进方法少一个数量级，展现出卓越的样本效率。
• PerfectDou 展现出更理性和类人行为：作为地主时，其使用炸弹的次数更少，以保护得分；作为农民时，能更有效地与队友协作，通过战略性地使用炸弹。
• PerfectDou 中右侧农民智能体的炸弹使用频率高于DouZero的对应智能体，与人类专家策略一致。
• 每步推理时间为6毫秒，略慢于DouZero的2毫秒，但仍适合实时在线游戏部署。
• 运行时分析表明，PerfectDou 显著快于基于蒙特卡洛的系统（如DeltaDou和CQN），且比基于规则或复杂神经网络的替代方案更高效。