[论文解读] Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems

Kleanthis Malialis, Sam Devlin+1 more|arXiv (Cornell University)|May 9, 2016

Reinforcement Learning in Robotics参考文献 12被引用 24

一句话总结

本文提出资源抽象（Resource Abstraction）方法，通过将资源聚类为抽象簇，提升多智能体强化学习（MARL）在拥堵问题中的学习速度、可扩展性及去中心化协调能力。通过构建更具信息量的奖励信号，该方法在最多1000名智能体的大规模场景中实现了接近最优的社会福利，优于当前最先进的差异奖励方法，在抽象与真实交通拥堵基准测试中均表现更优。

ABSTRACT

Real-world congestion problems (e.g. traffic congestion) are typically very complex and large-scale. Multiagent reinforcement learning (MARL) is a promising candidate for dealing with this emerging complexity by providing an autonomous and distributed solution to these problems. However, there are three limiting factors that affect the deployability of MARL approaches to congestion problems. These are learning time, scalability and decentralised coordination i.e. no communication between the learning agents. In this paper we introduce Resource Abstraction, an approach that addresses these challenges by allocating the available resources into abstract groups. This abstraction creates new reward functions that provide a more informative signal to the learning agents and aid the coordination amongst them. Experimental work is conducted on two benchmark domains from the literature, an abstract congestion problem and a realistic traffic congestion problem. The current state-of-the-art for solving multiagent congestion problems is a form of reward shaping called difference rewards. We show that the system using Resource Abstraction significantly improves the learning speed and scalability, and achieves the highest possible or near-highest joint performance/social welfare for both congestion problems in large-scale scenarios involving up to 1000 reinforcement learning agents.

研究动机与目标

• 解决多智能体强化学习（MARL）在大规模拥堵问题中因训练时间过长、可扩展性差及缺乏智能体间通信而导致的部署受限问题。
• 通过引入结构化抽象，克服MARL中去中心化协调的挑战，实现在无显式通信情况下的隐式协调。
• 通过设计基于资源分组的奖励函数，提供更具信息量的反馈信号，提升学习效率与性能。
• 在合成与真实世界的拥堵环境中验证资源抽象的有效性，实现在大规模场景下的高社会福利。

提出的方法

• 将可用资源聚类为抽象簇，以降低状态空间复杂度，提升学习效率。
• 基于抽象资源结构设计新型奖励函数，为个体智能体提供更丰富的反馈。
• 利用抽象资源表示隐式协调智能体，使其学习目标与全局效率对齐。
• 在两个基准领域中应用该方法：一个抽象拥堵问题与一个最多支持1000名智能体的真实交通仿真。
• 在学习速度、可扩展性与联合性能方面，与当前最先进的差异奖励方法进行性能对比。
• 通过仅依赖抽象奖励结构，确保在训练过程中智能体之间无直接通信，保持去中心化特性。

实验结果

研究问题

• RQ1 资源抽象是否能显著缩短多智能体强化学习在拥堵问题中的学习时间？
• RQ2 资源抽象在最多1000名智能体的大规模MARL设置中，对可扩展性的提升程度如何？
• RQ3 资源抽象是否能在无智能体间显式通信的情况下实现更优的去中心化协调？
• RQ4 在社会福利方面，资源抽象与当前最先进的差异奖励方法相比表现如何？

主要发现

• 在抽象与真实拥堵问题中，资源抽象相较于差异奖励基线，显著提升了学习速度。
• 该方法在涉及最多1000名强化学习智能体的大规模场景中表现出良好的可扩展性，性能稳定。
• 在所有测试的大规模配置中，资源抽象均实现了最高或接近最高的联合性能/社会福利。
• 抽象化奖励函数提供了更具信息量的学习信号，实现更快收敛与更优协调，且无需通信。
• 在两个基准领域中，该方法在最终性能与可扩展性方面均优于当前最先进的差异奖励方法。
• 该方法在保持去中心化运行的同时，实现了接近最优的全局系统结果，证明了通过抽象实现有效隐式协调。