[论文解读] Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning

Anuj Mahajan, Mikayel Samvelyan+7 more|arXiv (Cornell University)|May 31, 2021

Lattice Boltzmann Simulation Studies被引用 6

一句话总结

Tesseract 提出了一种张量化的多智能体强化学习框架，将联合动作价值函数建模为张量，通过低秩分解高效捕捉智能体间的交互。通过构建张量化的贝尔曼方程并结合PAC分析，Tesseract 在高维动作空间的协作型智能体中实现了相较于现有方法的指数级样本效率提升。

ABSTRACT

Reinforcement Learning in large action spaces is a challenging problem. Cooperative multi-agent reinforcement learning (MARL) exacerbates matters by imposing various constraints on communication and observability. In this work, we consider the fundamental hurdle affecting both value-based and policy-gradient approaches: an exponential blowup of the action space with the number of agents. For value-based methods, it poses challenges in accurately representing the optimal value function. For policy gradient methods, it makes training the critic difficult and exacerbates the problem of the lagging critic. We show that from a learning theory perspective, both problems can be addressed by accurately representing the associated action-value function with a low-complexity hypothesis class. This requires accurately modelling the agent interactions in a sample efficient way. To this end, we propose a novel tensorised formulation of the Bellman equation. This gives rise to our method Tesseract, which views the Q-function as a tensor whose modes correspond to the action spaces of different agents. Algorithms derived from Tesseract decompose the Q-tensor across agents and utilise low-rank tensor approximations to model agent interactions relevant to the task. We provide PAC analysis for Tesseract-based algorithms and highlight their relevance to the class of rich observation MDPs. Empirical results in different domains confirm Tesseract's gains in sample efficiency predicted by the theory.

研究动机与目标

• 为解决协作型多智能体强化学习（MARL）中动作空间的指数级增长问题，该问题会阻碍价值函数表示与评论家训练。
• 克服基于价值的方法（例如，受限的Q-函数表示导致次优策略）和演员-评论家方法（例如，评论家滞后与样本效率低下）的局限性。
• 开发一种统一且理论基础坚实的框架，通过张量分解实现对联合动作价值函数的精确、样本高效的建模。
• 为基于模型的Tesseract算法提供PAC泛化界，证明在恢复底层MDP动态过程中的样本复杂度得到改善。

提出的方法

• 提出一种张量化的贝尔曼方程，其中Q-函数被表示为多维张量，其模态对应于各智能体的动作空间。
• 使用低秩张量近似（如Tucker或CP分解）对Q-张量进行分解，以在降低复杂度的同时建模关键的智能体交互。
• 引入一种无模型变体，通过神经网络架构隐式诱导低秩结构，从而在提升样本效率的同时支持深度MARL。
• 推导基于模型的Tesseract的PAC学习界，表明样本复杂度随内在任务维度U和n个智能体呈O(|U|^{n/2})增长。
• 将张量分解应用于基于价值和演员-评论家的MARL，实现在集中训练、去中心化执行（CTDE）的同时保持低维表示。
• 通过将转移和奖励函数的低秩张量近似建模，提出一种适用于丰富观测MDP的框架。

实验结果

研究问题

• RQ1 张量化的联合Q-函数表示是否能在动作空间指数级增长的协作型MARL中实现更高效的样本学习？
• RQ2 对Q-张量进行低秩张量近似如何提升基于价值和演员-评论家MARL算法的准确性和样本效率？
• RQ3 在PAC框架下，基于Tesseract的模型化算法学习底层MDP动态过程可提供哪些理论保证？
• RQ4 在多样化的MARL环境中，Tesseract在样本效率和收敛性方面与最先进方法相比表现如何？
• RQ5 张量分解的秩在MARL中对模型表达能力与样本复杂度之间的权衡有何影响？

主要发现

• Tesseract实现了指数级的样本效率提升，PAC界表明样本复杂度随内在任务维度U和n个智能体呈O(|U|^{n/2})增长。
• 基于模型的Tesseract算法以多项式数量的样本（相对于精度和置信度参数）高概率恢复真实的联合转移和奖励函数。
• 在实证评估中，Tesseract在多个MARL环境（包括协作导航和捕食者-猎物任务）中均展现出优于最先进方法的样本效率和最终性能。
• Tesseract的无模型变体通过神经网络隐式诱导低秩结构，实现了相较于基线方法更高效的深度MARL。
• Tesseract通过张量分解的秩自然地提供了在近似精度与计算复杂度之间权衡的谱系。
• 该框架适用于丰富观测MDP，其中低维特征表示可高效建模复杂的智能体交互。