[论文解读] Multiagent Deep Reinforcement Learning: Challenges and Directions Towards Human-Like Approaches.

Annie Wong, Thomas Bäck+2 more|arXiv (Cornell University)|Jun 29, 2021

Reinforcement Learning in Robotics参考文献 136被引用 12

一句话总结

本文综述了多智能体深度强化学习（MADRL），指出集中训练与分散执行、对手建模、通信、协作以及奖励塑形是关键的研究方向。文章认为，要克服非平稳性和维度灾难等挑战，需要借鉴心理学与社会学的跨学科方法，以实现类人的多智能体系统。

ABSTRACT

This paper surveys the field of multiagent deep reinforcement learning. The combination of deep neural networks with reinforcement learning has gained increased traction in recent years and is slowly shifting the focus from single-agent to multiagent environments. Dealing with multiple agents is inherently more complex as (a) the future rewards depend on the joint actions of multiple players and (b) the computational complexity of functions increases. We present the most common multiagent problem representations and their main challenges, and identify five research areas that address one or more of these challenges: centralised training and decentralised execution, opponent modelling, communication, efficient coordination, and reward shaping. We find that many computational studies rely on unrealistic assumptions or are not generalisable to other settings; they struggle to overcome the curse of dimensionality or nonstationarity. Approaches from psychology and sociology capture promising relevant behaviours such as communication and coordination. We suggest that, for multiagent reinforcement learning to be successful, future research addresses these challenges with an interdisciplinary approach to open up new possibilities for more human-oriented solutions in multiagent reinforcement learning.

研究动机与目标

• 识别多智能体深度强化学习中的核心挑战，包括非平稳性和维度问题。
• 考察现有方法，如集中训练与分散执行，及其局限性。
• 探讨心理学与社会学的洞见如何改善多智能体系统中的协作与通信。
• 倡导跨学科研究，以开发更具泛化能力、类人的多智能体学习解决方案。
• 梳理解决多智能体环境中共行动与奖励依赖复杂性的关键研究领域。

提出的方法

• 本文综述了现有多智能体问题的表示方式及其固有挑战，如联合行动依赖性和计算复杂性。
• 将当前方法划分为五个研究领域：集中训练与分散执行、对手建模、通信、高效协作以及奖励塑形。
• 分析基于其假设、泛化能力以及处理非平稳性和高维状态-动作空间的能力对方法进行评估。
• 在机器学习挑战与人类社会行为之间建立类比，提出心理学与社会学原则可为更优的多智能体设计提供指导。
• 批评现有计算研究过度依赖不切实际的假设且泛化能力有限。
• 提出一个跨学科框架，整合认知科学与社会科学的洞见，以指导未来MADRL研究。

实验结果

研究问题

• RQ1 多智能体深度强化学习如何克服联合行动空间中的维度灾难与非平稳性？
• RQ2 集中训练与分散执行在实现可扩展多智能体学习中发挥什么作用？
• RQ3 多智能体系统中的通信与协作机制应如何建模，以反映类人的协作行为？
• RQ4 对手建模在非平稳多智能体环境中如何提升策略学习？
• RQ5 如何设计奖励塑形以在多智能体系统中促进具有泛化能力、以人为本的行为？

主要发现

• 许多现有的多智能体强化学习计算研究依赖于不切实际的假设，且在不同环境间缺乏泛化能力。
• 维度灾难与非平稳性仍是可扩展多智能体学习的重大障碍，尤其在复杂的联合行动空间中。
• 集中训练与分散执行显示出潜力，但尚未完全解决与策略泛化和可扩展性相关的挑战。
• 受人类社会行为启发的通信与协作机制为构建更稳健、更具适应性的多智能体系统提供了可行路径。
• 奖励塑形与对手建模是关键但发展不足的领域，需要更多跨学科整合以实现类人表现。
• 本文结论认为，未来MADRL的进步取决于整合心理学与社会学的洞见，以解决当前机器学习方法的根本局限。