[论文解读] Reinforcement learning in FlipIt

Sang Chin, Laura Greige|arXiv (Cornell University)|Feb 28, 2020

Artificial Intelligence in Games参考文献 21被引用 5

一句话总结

本文提出了一种深度Q-learning模型，使防御者能够在FlipIt这一不完全信息和不完美信息的双人游戏中优化资源拥有时间。尽管观测有限，该智能体仍能学习到一种成本效益高的反制策略，在不了解对手行为模式的前提下，优于贪婪策略，适用于周期性和指数型移动分布。

ABSTRACT

Reinforcement learning has shown much success in games such as chess, backgammon and Go. However, in most of these games, agents have full knowledge of the environment at all times. In this paper, we describe a deep learning model that successfully optimizes its score using reinforcement learning in a game with incomplete and imperfect information. We apply our model to FlipIt, a two-player game in which both players, the attacker and the defender, compete for ownership of a shared resource and only receive information on the current state (such as the current owner of the resource, or the time since the opponent last moved, etc.) upon making a move. Our model is a deep neural network combined with Q-learning and is trained to maximize the defender's time of ownership of the resource. Despite the imperfect observations, our model successfully learns an optimal cost-effective counter-strategy and shows the advantages of the use of deep reinforcement learning in game theoretic scenarios. Our results show that it outperforms the Greedy strategy against distributions such as periodic and exponential distributions without any prior knowledge of the opponent's strategy, and we generalize the model to 𝓃-player games.

研究动机与目标

• 开发一种强化学习智能体，使其在FlipIt中面对不完全和不完美信息时仍能有效防御共享资源。
• 使用Q-learning训练深度神经网络，以最大化FlipIt游戏中防御者的拥有时间。
• 评估模型在已知对手策略（如周期性和指数型移动分布）下的性能表现。
• 将该方法推广至n人版本的FlipIt游戏。

提出的方法

• 使用时序差分学习训练深度Q网络（DQN），以近似FlipIt游戏环境中的Q值函数。
• 智能体在采取动作时仅能观测部分状态信息，例如当前拥有状态和上次移动以来的时间。
• 通过经验回放和目标网络训练网络，以在部分可观测环境下稳定学习。
• 模型采用奖励塑形策略，奖励长时间拥有资源，惩罚不必要的移动。
• 通过反向传播更新策略，以最小化时序差分误差。
• 通过将每位玩家的移动建模为状态转移动态中的随机事件，将该方法扩展至n人游戏。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在仅有部分且不完美观测的情况下，在FlipIt中学习到有效的防御策略？
• RQ2 在不同对手移动分布下，深度Q-learning智能体的性能与贪婪策略相比如何？
• RQ3 观测稀疏性对智能体学习最优成本效益策略的能力有何影响？
• RQ4 所提出的方法能否推广至n人版本的FlipIt游戏？

主要发现

• 在周期性和指数型对手移动分布下，深度强化学习智能体在平均拥有时间方面显著优于贪婪策略。
• 智能体学习到了一种成本效益高的策略，能够平衡资源防御与避免不必要的移动之间的权衡。
• 该模型在无需重新训练或修改网络架构的情况下，有效推广至n人版本的FlipIt游戏。
• 即使在状态观测有限的情况下，智能体仍能实现稳定的学习与收敛，展现出对部分可观测性的强鲁棒性。