[论文解读] Opponent Modeling in Deep Reinforcement Learning

He He, Jordan Boyd‐Graber+2 more|arXiv (Cornell University)|Sep 18, 2016

Reinforcement Learning in Robotics参考文献 18被引用 108

一句话总结

本文提出 DRON（Deep Reinforcement Opponent Network，深度强化学习对手网络），有两种体系结构用于在多智能体强化学习中联合学习策略和对手行为，并在足球与问答竞赛中显示其性能优于 DQN 基线，同时能够应对非平稳对手。它还探讨多任务监督与对手策略的混合专家方法。

ABSTRACT

Opponent modeling is necessary in multi-agent settings where secondary agents with competing goals also adapt their strategies, yet it remains challenging because strategies interact with each other and change. Most previous work focuses on developing probabilistic models or parameterized strategies for specific applications. Inspired by the recent success of deep reinforcement learning, we present neural-based models that jointly learn a policy and the behavior of opponents. Instead of explicitly predicting the opponent's action, we encode observation of the opponents into a deep Q-Network (DQN); however, we retain explicit modeling (if desired) using multitasking. By using a Mixture-of-Experts architecture, our model automatically discovers different strategy patterns of opponents without extra supervision. We evaluate our models on a simulated soccer game and a popular trivia game, showing superior performance over DQN and its variants.

研究动机与目标

• 在强化学习中提出一个不依赖领域知识的一般对手建模框架的动机。
• 联合学习策略和对手行为的概率模型，以应对非平稳的策略。
• 探索将对手表示与 Q 学习相结合的架构，包括多任务监督。
• 在两个任务（足球和 Quiz Bowl）中评估对不同对手的鲁棒性与性能。

提出的方法

• 提出 DRON，一种同时学习对手网络以建模对手行为的 Deep Q-Network。
• 比较两种架构：dron-concat，将状态与对手表示连接后预测 Q 值；dron-moE，使用 Mixture-of-Experts 对对手策略进行边缘化。
• 可选地应用多任务监督，为对手提供直接信息（如动作或类型）以塑造对手表示 (h^o)。
• 将 Q 学习更新扩展以通过建模 Q^{π|π^o} 来考虑对手策略，并纳入对手信息。
• 在两个任务上评估：一个基于网格的双人足球游戏和一个 Quiz Bowl 问答游戏，与 DQN 基线 (dqn-world 和 dqn-self) 进行比较。
• 研究 dron-moE 中专家数量 (K) 的影响以及多任务监督对性能的影响。

实验结果

研究问题

• RQ1 在 DRL 中学习的隐式对手表示是否可以在对抗自适应对手时改进策略？
• RQ2 DRON 架构（concat 与 Mixture-of-Experts）是否比标准 DQN 更好地捕捉对手策略的变化？
• RQ3 关于对手的多任务监督是否在学习稳健策略方面提供额外收益？
• RQ4 DRON 模型在不同任务中对多样化和非平稳对手的表现如何？
• RQ5 跨任务中专家数量对 DRON-MoE 性能的影响是多少？

主要发现

• DRON 变体在足球和 Quiz Bowl 的表现均优于 DQN 基线。
• dron-concat 在加入对手相关的监督时表现强劲，而 dron-moE 通过专家专门化对多种对手策略具有鲁棒性。
• 在合适数量的专家下，dron-moE 往往达到最佳或接近最佳的结果，并且相比 DQN 学习方差更小。
• 多任务监督在某些设置中有帮助（如 Quiz Bowl 的对手类型），但并不总是提升所有 DRON 变体的性能（如行动监督并不总是有益）。
• DQN-world（将对手视为世界的一部分）在混合对手行为面前表现吃力，而 DRON 在对抗积极与谨慎的对手时提供了更好的权衡。
• 在 Quiz Bowl 中，dron-moE 的表现优于 dron-concat；增加专家数量会提升性能，当使用更多专家时，对手类型监督尤其有帮助。
• 总体而言，DRON 展现出对非平稳对手的鲁棒性提升，且能够在没有领域特定对手模型的情况下学习自适应应对。