[论文解读] Towards Cooperation in Sequential Prisoner's Dilemmas: a Deep Multiagent Reinforcement Learning Approach

Weixun Wang, Jianye Hao+2 more|arXiv (Cornell University)|Mar 1, 2018

Evolutionary Game Theory and Cooperation参考文献 25被引用 16

一句话总结

本文提出了一种深度多智能体强化学习方法，用于在顺序囚徒困境（SPD）游戏中实现相互合作，其中合作行为具有时间上的延展性和分级性。该方法首先通过离线阶段生成具有不同合作水平的策略，并利用基于LSTM的编码训练合作程度检测网络，随后在在线阶段根据检测到的对手合作程度自适应地选择策略，从而在自对弈和动态对手场景下均实现稳健合作，同时有效防止被利用。

ABSTRACT

The Iterated Prisoner's Dilemma has guided research on social dilemmas for decades. However, it distinguishes between only two atomic actions: cooperate and defect. In real-world prisoner's dilemmas, these choices are temporally extended and different strategies may correspond to sequences of actions, reflecting grades of cooperation. We introduce a Sequential Prisoner's Dilemma (SPD) game to better capture the aforementioned characteristics. In this work, we propose a deep multiagent reinforcement learning approach that investigates the evolution of mutual cooperation in SPD games. Our approach consists of two phases. The first phase is offline: it synthesizes policies with different cooperation degrees and then trains a cooperation degree detection network. The second phase is online: an agent adaptively selects its policy based on the detected degree of opponent cooperation. The effectiveness of our approach is demonstrated in two representative SPD 2D games: the Apple-Pear game and the Fruit Gathering game. Experimental results show that our strategy can avoid being exploited by exploitative opponents and achieve cooperation with cooperative opponents.

研究动机与目标

• 建模现实世界中的社会困境，其中合作并非原子性的，而是具有时间延展性和分级性的，超越经典重复囚徒困境游戏。
• 在状态空间较大的环境中，开发一种可扩展且自适应的多智能体强化学习策略，其中对手动作的直接观测受限。
• 使智能体能够从序列动作中检测对手的合作程度，并选择合适的策略以促进相互合作。
• 通过在必要时动态切换至背叛行为，实现对背叛型对手的鲁棒性，避免长期损失。

提出的方法

• 提出顺序囚徒困境（SPD）框架，以建模具有时间延展性和分级合作行为的现实世界社会困境。
• 在离线阶段，使用加权目标奖励训练具有不同合作程度的基线策略，并采用两种方案：IAC 和 JAC。
• 通过策略生成方法从基线策略中合成一系列连续的合作水平策略。
• 使用编码器-解码器结构的LSTM-based合作程度检测网络，从序列动作历史中推断对手的合作水平。
• 在在线阶段，利用检测到的合作程度从合成的策略集中选择合适策略，以适应对手行为。
• 通过基于实时合作程度估计的自适应策略切换，将“以牙还牙”原则扩展至SPD。

实验结果

研究问题

• RQ1 在大规模、时间延展的社会困境中，如何实现相互合作，其中合作并非二元的而是分级的？
• RQ2 深度多智能体强化学习智能体能否在不直接观测对手策略的情况下，仅从序列动作中检测对手的合作水平？
• RQ3 在对手策略动态切换的环境中，智能体如何在合作与抗被利用之间实现平衡？
• RQ4 基于检测到的合作水平的自适应策略选择，是否能优于固定策略（如完全合作或完全背叛）？

主要发现

• 在自对弈场景中，无论初始策略条件如何，智能体均收敛至完全相互合作，包括双方初始均为背叛策略的最困难情形。
• 在苹果-梨游戏（Apple-Pear game）中，由于水果收集行为提供了强烈的视觉和行为线索，智能体在少数几轮内即高效收敛至完全合作。
• 在水果收集游戏（Fruit Gathering game）中，由于合作信号依赖于光束发射频率，收敛时间更长，需要更长的观察时间。
• 面对策略动态变化的对手，该智能体获得的平均奖励高于完全合作与完全背叛策略，表现出有效适应能力。
• 当对手快速切换策略时，检测准确率下降，但性能仍优于固定策略，尤其在较长交互周期中表现更优。
• 在所有测试场景中，所提方法的社会福利（奖励总和）均超过完全合作与完全背叛策略。