[论文解读] The Power of Exploiter: Provable Multi-Agent RL in Large State Spaces

Chi Jin, Qinghua Liu+1 more|arXiv (Cornell University)|Jun 7, 2021

Reinforcement Learning in Robotics参考文献 53被引用 5

一句话总结

本文提出了一种可证明样本高效的多智能体强化学习算法 Golf_with_Exploiter，适用于大规模状态空间的双人零和马尔可夫博弈。通过引入一个战略性地利用主智能体弱点的“exploiter”智能体，该方法利用一种新的复杂度度量——多智能体贝尔曼-伊莱尔维度，实现了多项式样本复杂度，从而在表格型、线性、核函数和丰富观测设置下实现高效学习。

ABSTRACT

Modern reinforcement learning (RL) commonly engages practical problems with large state spaces, where function approximation must be deployed to approximate either the value function or the policy. While recent progresses in RL theory address a rich set of RL problems with general function approximation, such successes are mostly restricted to the single-agent setting. It remains elusive how to extend these results to multi-agent RL, especially due to the new challenges arising from its game-theoretical nature. This paper considers two-player zero-sum Markov Games (MGs). We propose a new algorithm that can provably find the Nash equilibrium policy using a polynomial number of samples, for any MG with low multi-agent Bellman-Eluder dimension -- a new complexity measure adapted from its single-agent version (Jin et al., 2021). A key component of our new algorithm is the exploiter, which facilitates the learning of the main player by deliberately exploiting her weakness. Our theoretical framework is generic, which applies to a wide range of models including but not limited to tabular MGs, MGs with linear or kernel function approximation, and MGs with rich observations.

研究动机与目标

• 解决在一般函数逼近下，特别是在大规模状态空间中缺乏可证明高效的多智能体强化学习算法的问题。
• 克服在多智能体设置中对抗性对手适应的挑战，其中标准单智能体函数逼近技术失效。
• 构建一个理论框架，将单智能体函数逼近结果扩展至具有可证明样本效率的多智能体马尔可夫博弈。
• 提出一种统一的复杂度度量——多智能体贝尔曼-伊莱尔维度，以刻画多种多智能体强化学习模型的可学习性。
• 实现与状态空间大小无关的样本效率，从而可应用于复杂环境，如具有丰富观测或神经网络函数逼近器的环境。

提出的方法

• 提出一种新颖的自博弈算法 Golf_with_Exploiter，该算法同时维护一个主智能体和一个专用的 exploiter 智能体，以促进探索和策略改进。
• 利用 exploiter 智能体有针对性地攻击并利用主智能体策略中的弱点，通过战略性交互实现更有效的学习。
• 引入多智能体贝尔曼-伊莱尔（BE）维度作为源自单智能体版本的新复杂度度量，用于量化多智能体设置下学习的内在难度。
• 通过维护价值函数的上下界，应用价值函数估计中的乐观性，确保探索的同时保持理论保证。
• 利用在线到批量归约和集中不等式，推导出与状态空间大小无关的样本复杂度边界。
• 通过一种新颖的分析框架建立理论保证，该框架可同时处理自博弈和对抗性对手，结合集中性论证与依赖维度的边界。

实验结果

研究问题

• RQ1 我们能否为一般函数逼近下的大规模状态空间设计一种可证明样本高效的多智能体强化学习算法？
• RQ2 如何将单智能体函数逼近理论扩展至具有博弈论交互的多智能体设置？
• RQ3 在函数逼近下，刻画多智能体马尔可夫博弈可学习性的新复杂度度量是什么？
• RQ4 exploiter 机制是否能通过针对策略弱点来提升自博弈多智能体强化学习中的样本效率？
• RQ5 所提出的算法在面对对抗性对手或非平稳行为时是否仍能保持样本效率？

主要发现

• 所提出的 Golf_with_Exploiter 算法在线性马尔可夫博弈中找到 $\epsilon$-近似纳什策略的样本复杂度为 $\tilde{\mathcal{O}}(H^{2}d^{2}/\epsilon^{2})$，相较于先前工作中出现的关于维度 $d$ 的立方依赖关系，实现了改进。
• 在低多智能体贝尔曼-伊莱尔维度假设下，该算法保证使用与状态空间大小无关的多项式样本数收敛至纳什均衡策略。
• 多智能体贝尔曼-伊莱尔维度在多种模型中均显示为较低，包括表格型 MG、线性 MG、核函数 MG 和具有丰富观测的 MG。
• 理论框架同时提供了自博弈和在线保证，确保在面对对抗性对手时仍具鲁棒性。
• 该方法实现了 $\mathcal{O}(H\sqrt{K\beta \cdot |\mathcal{A}||\mathcal{B}| \cdot \dim_{\textrm{VBE}}(\mathcal{F}, \epsilon/H)} + K\epsilon)$ 的遗憾边界，其中 $K$ 为回合数。
• 分析表明，在 $K = \Omega\big{(}(H^{2}d/\epsilon^{2})\cdot\log(H|\mathcal{F}||\mathcal{G}|d/\epsilon)\big{)}$ 回合后，以高概率可找到 $\mathcal{O}(\epsilon)$-最优策略，其中 $d$ 为 VBE 维度。