[论文解读] Regret Bounds for Decentralized Learning in Cooperative Multi-Agent Dynamical Systems

Seyed Mohammad Asghari, Yi Ouyang+1 more|arXiv (Cornell University)|Jan 27, 2020

Advanced Bandit Algorithms Research参考文献 53被引用 4

一句话总结

该论文提出了一种用于具有部分系统知识和有限通信能力的合作线性二次（LQ）动力系统的去中心化多智能体强化学习（MARL）算法。通过构建一个辅助的单智能体LQ问题作为隐式协调机制，该算法实现了$\tilde{O}(\sqrt{T})$的遗憾边界，与单智能体LQ控制中的理论性能边界一致，即使仅一个智能体拥有未知动力学且通信为单向时亦成立。

ABSTRACT

Regret analysis is challenging in Multi-Agent Reinforcement Learning (MARL) primarily due to the dynamical environments and the decentralized information among agents. We attempt to solve this challenge in the context of decentralized learning in multi-agent linear-quadratic (LQ) dynamical systems. We begin with a simple setup consisting of two agents and two dynamically decoupled stochastic linear systems, each system controlled by an agent. The systems are coupled through a quadratic cost function. When both systems' dynamics are unknown and there is no communication among the agents, we show that no learning policy can generate sub-linear in $T$ regret, where $T$ is the time horizon. When only one system's dynamics are unknown and there is one-directional communication from the agent controlling the unknown system to the other agent, we propose a MARL algorithm based on the construction of an auxiliary single-agent LQ problem. The auxiliary single-agent problem in the proposed MARL algorithm serves as an implicit coordination mechanism among the two learning agents. This allows the agents to achieve a regret within $O(\sqrt{T})$ of the regret of the auxiliary single-agent problem. Consequently, using existing results for single-agent LQ regret, our algorithm provides a $ ilde{O}(\sqrt{T})$ regret bound. (Here $ ilde{O}(\cdot)$ hides constants and logarithmic factors). Our numerical experiments indicate that this bound is matched in practice. From the two-agent problem, we extend our results to multi-agent LQ systems with certain communication patterns.

研究动机与目标

• 解决在系统动力学未知和通信受限条件下，去中心化多智能体强化学习（MARL）中的遗憾分析挑战。
• 在双智能体均动力学未知且无通信的情况下，建立遗憾性能的根本限制。
• 设计一种MARL算法，在部分系统知识和非对称信息流条件下实现次线性遗憾。
• 将所提出的框架扩展至具有结构化通信模式的多智能体LQ系统。

提出的方法

• 构建一个辅助的单智能体LQ问题，作为两个去中心化智能体之间的隐式协调机制。
• 利用控制未知系统的智能体向另一智能体进行单向通信，以实现协调学习。
• 将遗憾定义为MARL策略下的代价与在完全掌握系统参数情况下的最优代价之间的累积差值。
• 利用现有单智能体LQ遗憾边界（例如，Abbasi-Yadkori & Szepesvári, 2011）推导MARL算法的遗憾边界。
• 通过将多智能体系统转换为集中式辅助问题，实现学习与控制策略设计的解耦。
• 利用状态估计误差动态和基于迹的边界，将MARL算法的遗憾与辅助单智能体问题的遗憾关联起来。

实验结果

研究问题

• RQ1 当双智能体均具有未知系统动力学且不允许通信时，能否在去中心化MARL中实现次线性遗憾？
• RQ2 在单向通信和部分系统知识条件下，双智能体合作LQ系统中的根本遗憾极限是什么？
• RQ3 如何利用辅助的单智能体LQ问题来隐式协调多智能体系统中的两个去中心化智能体？
• RQ4 能否利用单智能体LQ学习算法的遗憾来界定去中心化MARL算法的遗憾？
• RQ5 结构化通信模式如何影响多智能体LQ系统中的遗憾性能？

主要发现

• 当双智能体均具有未知系统动力学且无通信时，任何学习策略都无法在$T$时间内实现次线性遗憾；遗憾最多为线性。
• 当控制未知系统的智能体向另一智能体单向通信时，所提出的MARL算法实现了$\tilde{O}(\sqrt{T})$的遗憾边界。
• MARL算法的遗憾由辅助单智能体LQ问题的遗憾加上一个随$O(\sqrt{T})$增长的项（源于估计误差）所界定。
• 数值实验确认了理论上的$\tilde{O}(\sqrt{T})$遗憾边界在实践中得以实现。
• 对于具有双向通信且双智能体均动力学未知的多智能体系统，MARL算法的遗憾等于辅助单智能体LQ问题的遗憾，即$R(T,\texttt{AL-MARL3}) = R^\diamond(T,\texttt{AL-SARL})$。
• 该方法可推广至具有特定通信模式的多智能体LQ系统，在适当假设下仍保持$\tilde{O}(\sqrt{T})$的遗憾。