[论文解读] Survey of Self-Play in Reinforcement Learning

Anthony DiGiovanni, Ethan Zell|arXiv (Cornell University)|Jul 6, 2021

Game Theory and Applications参考文献 19被引用 4

一句话总结

本综述综合了强化学习中的自我对弈，分析其理论基础、评估标准和算法方法。研究识别出帕累托效率和公平议价解是更优但尚未充分探索的基准，同时指出FCL是一种新颖算法，通过协调探索和背叛行为的惩罚机制，确保自我对弈的兼容性。

ABSTRACT

In reinforcement learning (RL), the term self-play describes a kind of multi-agent learning (MAL) that deploys an algorithm against copies of itself to test compatibility in various stochastic environments. As is typical in MAL, the literature draws heavily from well-established concepts in classical game theory and so this survey quickly reviews some fundamental concepts. In what follows, we present a brief survey of self-play literature, its major themes, criteria, and techniques, and then conclude with an assessment of current shortfalls of the literature as well as suggestions for future directions.

研究动机与目标

• 阐明在多智能体强化学习中定义‘最优性’的理论与实践挑战。
• 在自我对弈框架中，评估竞争性性能基准（如纳什均衡、帕累托效率和公平议价解）的表现。
• 分析算法如何在适应非自我智能体的同时保持与自我副本的兼容性，尤其是在对奖励函数存在不确定性的情况下。
• 识别有限时间保证、后悔界以及对对抗性或目标不一致智能体的鲁棒性方面的开放问题。
• 探索激励稳定算法的设计，以防止被剥削，并在未知或随机环境中确保长期合作。

提出的方法

• 使用马尔可夫对策作为建模自我对弈的形式化框架，将MDP扩展至包含具有随机转移和奖励的多个智能体。
• 提出一个三组件动作价值估计系统：$Q^c$（EBS的集体奖励）、$Q^r_j$（偏离行为的惩罚）和$Q^d_j$（偏离收益），以实现对非合作行为的战略响应。
• 通过在自我副本之间协调探索，确保$Q^c$、$Q^r_j$和$Q^d_j$的准确估计，防止将探索误认为是背叛行为。
• 引入稳健合作学习（FCL）算法，利用代理奖励函数强制实现公平议价解（EBS），并通过可信惩罚机制阻止偏离行为。
• 在初始动态未知的环境中，采用带结构化探索策略的Q-learning，以平衡探索与奖励最大化。
• 运用博弈论概念（如纳什均衡、帕累托效率和EBS）评估算法性能与稳定性。

实验结果

研究问题

• RQ1 哪些自我对弈的正式模型最具理论可处理性？建立收敛性的常用证明技术是什么？
• RQ2 在实际可取性与理论可行性方面，不同评估标准（如纳什均衡、帕累托效率和公平议价）之间如何比较？
• RQ3 算法如何在保持自我对弈兼容性的同时，也确保对对抗性及随机非自我智能体的安全性与最优性？
• RQ4 在实现更高公平性与效率标准（如EBS与简单纳什均衡相比）时，计算与理论上的权衡是什么？
• RQ5 算法如何检测并响应有针对性的对手或冲突的合作策略，以避免产生破坏性的惩罚循环？

主要发现

• 文献显示，性能标准存在显著分歧，帕累托效率和公平议价解（EBS）虽更理想，但比简单收敛至任意纳什均衡更难实现。
• 有限时间保证（尤其是后悔界）在自我对弈算法中基本缺失，且现有边界无法确保对非自我智能体的高性能表现。
• FCL算法通过维持三种动作价值估计实现学习均衡：$Q^c$用于EBS，$Q^r_j$用于惩罚，$Q^d_j$用于偏离激励，从而实现对背叛行为的可信威慑。
• 在自我副本之间协调探索可确保$Q^c$、$Q^r_j$和$Q^d_j$的准确估计，防止错误检测背叛行为，并促进收敛至真实的EBS策略。
• 尽管M-Qubed在实验中表现成功，但其在平衡自我对弈效率与对非自我智能体适应性方面缺乏理论保证，这在复杂或短时程环境中引发了鲁棒性方面的担忧。
• 当两个FCL智能体追求冲突的合作理想时，可能引发惩罚循环，导致相互惩罚和次优结果，凸显了需要额外标准以检测并避免此类情形。