[论文解读] On the Emergence of Cooperation in the Repeated Prisoner's Dilemma

Maximilian Schaefer|arXiv (Cornell University)|Nov 24, 2022

Evolutionary Game Theory and Cooperation被引用 5

一句话总结

本文通过模拟具有单期记忆的 $ε$-贪心 Q-learner，表明在冷酷触发策略下，随机复制者动态的势函数可预测重复囚徒困境中合作的出现。关键结果是一个临界动能比 $\mathcal{C} = \frac{\delta}{1-\delta}\mathcal{K}(\alpha)\epsilon$，该比值将合作与缺陷参数区域分隔开来，且该分界线能高度准确地预测人类合作率，皮尔逊相关系数 >0.8。

ABSTRACT

Using simulations between pairs of $ε$-greedy q-learners with one-period memory, this article demonstrates that the potential function of the stochastic replicator dynamics (Foster and Young, 1990) allows it to predict the emergence of error-proof cooperative strategies from the underlying parameters of the repeated prisoner's dilemma. The observed cooperation rates between q-learners are related to the ratio between the kinetic energy exerted by the polar attractors of the replicator dynamics under the grim trigger strategy. The frontier separating the parameter space conducive to cooperation from the parameter space dominated by defection can be found by setting the kinetic energy ratio equal to a critical value, which is a function of the discount factor, $f(δ) = δ/(1-δ)$, multiplied by a correction term to account for the effect of the algorithms' exploration probability. The gradient at the frontier increases with the distance between the game parameters and the hyperplane that characterizes the incentive compatibility constraint for cooperation under grim trigger. Building on literature from the neurosciences, which suggests that reinforcement learning is useful to understanding human behavior in risky environments, the article further explores the extent to which the frontier derived for q-learners also explains the emergence of cooperation between humans. Using metadata from laboratory experiments that analyze human choices in the infinitely repeated prisoner's dilemma, the cooperation rates between humans are compared to those observed between q-learners under similar conditions. The correlation coefficients between the cooperation rates observed for humans and those observed for q-learners are consistently above $0.8$. The frontier derived from the simulations between q-learners is also found to predict the emergence of cooperation between humans.

研究动机与目标

• 识别具有单期记忆的 Q-learner 在重复囚徒困境中学会合作的参数条件。
• 应用演化博弈论中的概念——特别是冷酷触发策略下随机复制者动态的势函数——以预测合作的出现。
• 检验从 Q-learner 模拟中得出的合作分界线是否也能预测实验室实验中的人类合作。
• 量化游戏参数、学习算法超参数与观测到的合作率之间的关系。
• 评估在不同 Q-learner 初始化方案和参数范围下，合作分界线的鲁棒性。

提出的方法

• 在重复囚徒困境中模拟具有恒定学习率（$\alpha \in [0.01, 0.1]$）和探索概率（$\epsilon \in [0.01, 0.1]$）的 $ε$-贪心 Q-learner 对。
• 使用随机复制者动态的势函数（Foster 和 Young，1990）计算吸引系统趋向于相互合作与相互背叛的动能。
• 定义临界动能比 $\mathcal{C} = \frac{\delta}{1-\delta}\mathcal{K}(\alpha)\epsilon$，其中 $\delta$ 为折扣因子，$\mathcal{K}(\alpha)$ 为校正探索效应的因子。
• 将合作分界线定义为动能比等于 $\mathcal{C}$ 的参数组合集合，用以分隔合作与缺陷区域。
• 在 $(d^{ic}, \mathcal{KLR} - \log(\mathcal{K}(\alpha)\epsilon))$ 空间中，通过欧几里得距离比较 Q-learner 合作率与实验室实验中的人类合作率。
• 计算不同实验处理下人类与 Q-learner 合作率之间的皮尔逊相关系数，并跟踪游戏经验增加时的变化。

实验结果

研究问题

• RQ1 在重复囚徒困境中，哪些参数组合能导致具有单期记忆的 Q-learner 之间实现稳定合作？
• RQ2 在冷酷触发策略下，随机复制者动态的势函数能否预测 Q-learner 相互作用中合作与缺陷结果之间的边界？
• RQ3 从 Q-learner 模拟中得出的合作分界线在多大程度上能预测实验室实验中实际的人类合作率？
• RQ4 合作率在分界线附近的梯度如何随游戏参数与激励相容性约束超平面之间距离的变化而变化？
• RQ5 随着玩家在重复游戏中积累经验，人类与 Q-learner 合作率之间的相关性如何演变？

主要发现

• Q-learner 之间的合作分界线可被动能比 $\mathcal{C} = \frac{\delta}{1-\delta}\mathcal{K}(\alpha)\epsilon$ 准确预测，其中 $\mathcal{K}(\alpha)$ 校正了探索效应的影响。
• 在分界线上，合作策略占比的梯度随游戏参数与激励相容性超平面之间距离的增加而上升，当该距离超过其最大值的 50% 时趋于稳定。
• 该分界线在测试参数范围内对 Q-值的乐观与悲观初始化均表现出鲁棒性。
• 实验室实验中的人类合作率与 Q-learner 合作率之间的皮尔逊相关系数 >0.8，表明 Q-learner 分界线具有强大的预测能力。
• 即使在七轮游戏后，相关性仍稳定保持在 0.8 以上，且早期达到峰值后趋于稳定，表明人类与 Q-learner 的学习动态具有一致性。
• 唯一一个在 $\mathcal{KLR}$ 与 $sizeGOOD$ 测度间预测冲突的实验处理，最终支持了 $\mathcal{KLR}$ 分界线，进一步验证了其有效性。