[论文解读] Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games

Macheng Shen, Jonathan P. How|arXiv (Cornell University)|Sep 18, 2019

Reinforcement Learning in Robotics参考文献 30被引用 9

一句话总结

该论文提出了一种对抗性集成强化学习框架，用于在非对称不完全信息博弈中实现鲁棒的对手建模，其中主角必须通过自我对弈推断对手的私有类型。通过在策略集成上进行元优化，该方法在相同计算预算下相比标准集成训练，显著提升了对未见过的对手类型的鲁棒性。

ABSTRACT

This paper presents an algorithmic framework for learning robust policies in asymmetric imperfect-information games, where the joint reward could depend on the uncertain opponent type (a private information known only to the opponent itself and its ally). In order to maximize the reward, the protagonist agent has to infer the opponent type through agent modeling. We use multiagent reinforcement learning (MARL) to learn opponent models through self-play, which captures the full strategy interaction and reasoning between agents. However, agent policies learned from self-play can suffer from mutual overfitting. Ensemble training methods can be used to improve the robustness of agent policy against different opponents, but it also significantly increases the computational overhead. In order to achieve a good trade-off between the robustness of the learned policy and the computation complexity, we propose to train a separate opponent policy against the protagonist agent for evaluation purposes. The reward achieved by this opponent is a noisy measure of the robustness of the protagonist agent policy due to the intrinsic stochastic nature of a reinforcement learner. To handle this stochasticity, we apply a stochastic optimization scheme to dynamically update the opponent ensemble to optimize an objective function that strikes a balance between robustness and computation complexity. We empirically show that, under the same limited computational budget, the proposed method results in more robust policy learning than standard ensemble training.

研究动机与目标

• 解决主角在缺乏对手私有类型知识的情况下，于非对称不完全信息博弈中进行决策的挑战。
• 开发一种鲁棒的策略学习框架，能够在无先验知识的情况下泛化于多种对手类型。
• 通过在策略集成群体上引入元优化策略，提升多智能体强化学习中集成训练的鲁棒性。
• 通过自我对弈实现有效的对手建模，以捕捉完整的策略交互与推理过程。
• 在一般和博弈中平衡策略集成设计的鲁棒性与计算效率。

提出的方法

• 使用多智能体强化学习与自我对弈联合训练主角与对手策略，以捕捉动态的策略交互。
• 应用集成训练以维持多个主角策略，增强对多样化对手行为的鲁棒性。
• 在集成群体上引入元优化目标以提升泛化能力，而非依赖标准的集成平均方法。
• 采用信念传播与观测建模，基于联合观测与动作推断对手类型，使用因子化策略假设。
• 推导出一种递归信念更新规则，结合物理状态转移模型与在联合策略下的期望观测似然。
• 使用期望观测概率 $\mathbb{E}_{\bm{a}^{t}\sim\bm{\pi}(\bar{\bm{o}}|\bm{h})}[\mathcal{P}^{O}(o^{t}_{i}|\bm{a}^{t},s^{t})]$，基于预测与实际观测的差异来校正类型信念。

实验结果

研究问题

• RQ1 主角智能体如何在对手类型为私有且未知的非对称不完全信息博弈中学习到鲁棒策略？
• RQ2 能否通过元优化改进多智能体强化学习中的集成训练，以增强对未见对手类型的鲁棒性？
• RQ3 在非对称博弈中，引入对抗性集成训练与元优化对策略泛化能力有何影响？
• RQ4 与标准集成训练相比，所提出方法在鲁棒性与计算效率方面表现如何？
• RQ5 自我对弈与基于信念的推理在一般和博弈中能在多大程度上改善对手建模？

主要发现

• 所提出的对集成群体的元优化显著提升了对未见对手类型的鲁棒性，相比标准集成训练。
• 该方法在相同计算预算下实现了更优的泛化性能，证明了在非对称不完全信息博弈中具有更优的鲁棒性。
• 基于期望观测与策略建模的信念更新，能够从联合观测与动作中准确推断对手类型。
• 递归信念更新规则能有效传播物理状态分布，同时利用观测似然校正类型信念。
• 因子化策略假设 $\pi_{j}(o^{t}_{j}|h_{j})$ 在无需循环或基于信念策略的情况下，实现了可处理的联合策略建模。
• 实验结果表明，对抗性集成方法在多样化对手策略配置下的鲁棒性方面优于基线集成方法。