[论文解读] Parameter Sharing is Surprisingly Useful for Multi-Agent Deep Reinforcement Learning.

Justin K. Terry, Nathaniel Grammel+4 more|arXiv (Cornell University)|May 27, 2020

Reinforcement Learning in Robotics参考文献 25被引用 29

一句话总结

本论文表明，尽管在多智能体深度强化学习（MARL）中参数共享尚未被充分使用，但通过集中式训练减少非平稳性，它显著提升了学习效率和性能。结果显示，参数共享使平均奖励最高提升44倍，且仅需先前设置16%的环境交互轮次即可实现。此外，该研究还为异构环境中的应用提供了形式化扩展。

ABSTRACT

Nonstationarity is a fundamental problem in cooperative multi-agent reinforcement learning (MARL)--each agent must relearn information about the other agent's policies due to the other agents learning, causing information to ring between agents and convergence to be slow. The MAILP model, introduced by Terry and Grammel (2020), is a novel model of information transfer during multi-agent learning. We use the MAILP model to show that increasing training centralization arbitrarily mitigates the slowing of convergence due to nonstationarity. The most centralized case of learning is parameter sharing, an uncommonly used MARL method, specific to environments with homogeneous agents, that bootstraps a single-agent reinforcement learning (RL) methods and learns an identical policy for each agent. We experimentally replicate the result of increased learning centralization leading to better performance on the MARL benchmark set from Gupta et al. (2017). We further apply parameter sharing to 8 modern single-agent deep RL (DRL) methods for the first time in the literature. With this, we achieved the best documented performance on a set of MARL benchmarks and achieved upto 44 times more average reward in as little as 16% as many episodes compared to documented parameter sharing arrangement. We finally offer a formal proof of a set of methods that allow parameter sharing to serve in environments with heterogeneous agents.

研究动机与目标

• 解决合作式多智能体强化学习（MARL）中的非平稳性挑战，其中智能体的策略在训练过程中动态变化。
• 探究通过参数共享等训练集中化方法，是否能够缓解因非平稳性导致的收敛速度下降问题。
• 将参数共享扩展至异构多智能体环境，其中智能体具有不同的策略或观测。
• 在MARL基准上对8种现代深度强化学习算法评估参数共享，以确立最先进性能。
• 为将参数共享推广至异构智能体提供形式化证明，从而扩大其适用范围。

提出的方法

• 采用MAILP模型（Terry & Grammel, 2020）来形式化多智能体学习过程中的信息传递动态。
• 将参数共享作为最集中的训练范式，即所有智能体共享单一策略网络。
• 首次将在8种现代单智能体深度强化学习方法（如SAC、PPO、DQN）中应用参数共享于MARL。
• 通过共享参数来启动单智能体RL方法，实现更快收敛和更高的样本效率。
• 提出并形式化证明一组条件，使得参数共享可适配于异构智能体。
• 使用Gupta等人（2017）的MARL基准套件，在多样化合作环境中评估性能。

实验结果

研究问题

• RQ1 通过参数共享增加训练集中化，能在多大程度上减少MARL中由非平稳性引起的收敛延迟？
• RQ2 参数共享能否成功应用于多智能体设置中的现代深度强化学习算法？是否能提升样本效率？
• RQ3 与先前的MARL方法相比，参数共享在标准基准上实现了多大的性能提升？
• RQ4 是否可以将参数共享扩展至异构多智能体环境？在何种形式化条件下其有效性仍能保持？
• RQ5 与非共享、去中心化的训练方法相比，参数共享在样本效率和最终性能方面表现如何？

主要发现

• 与先前记录的参数共享设置相比，参数共享在相同基准上实现了最高达44倍的平均累积奖励提升。
• 该方法仅需先前参数共享实验所用环境交互轮次的16%即可实现更优性能。
• 性能提升在Gupta等人（2017）的MARL基准套件中保持一致，证实了更高程度集中化的有效性。
• 本研究在该基准集上确立了最佳已记录性能，为采用参数共享的MARL设立了新的最先进水平。
• 为将参数共享推广至异构智能体提供了形式化证明，使其可应用于此前受限的环境。
• 结果证实，参数共享是一种高效且被严重低估的方法，可显著提升MARL训练的稳定性与样本效率。