[论文解读] Stigmergic Independent Reinforcement Learning for Multi-Agent Collaboration

Xing Xu, Rongpeng Li+2 more|arXiv (Cornell University)|Nov 28, 2019

Reinforcement Learning in Robotics参考文献 50被引用 4

一句话总结

该论文提出了一种去中心化的多智能体强化学习框架——Stigmergic Independent Reinforcement Learning（SIRL），结合了基于数字信息素的间接通信机制（即信息素机制）与基于优先级的动作选择网络的冲突避免机制。该方法使智能体能够高效且可扩展地协作形成目标形状，在收敛速度和最终相似度方面优于基线方法，尤其在环形等复杂结构中表现更优。

ABSTRACT

With the rapid evolution of wireless mobile devices, there emerges an increased need to design effective collaboration mechanisms between intelligent agents, so as to gradually approach the final collective objective through continuously learning from the environment based on their individual observations. In this regard, independent reinforcement learning (IRL) is often deployed in multi-agent collaboration to alleviate the problem of a non-stationary learning environment. However, behavioral strategies of intelligent agents in IRL can only be formulated upon their local individual observations of the global environment, and appropriate communication mechanisms must be introduced to reduce their behavioral localities. In this paper, we address the problem of communication between intelligent agents in IRL by jointly adopting mechanisms with two different scales. For the large scale, we introduce the stigmergy mechanism as an indirect communication bridge between independent learning agents, and carefully design a mathematical method to indicate the impact of digital pheromone. For the small scale, we propose a conflict-avoidance mechanism between adjacent agents by implementing an additionally embedded neural network to provide more opportunities for participants with higher action priorities. In addition, we present a federal training method to effectively optimize the neural network of each agent in a decentralized manner. Finally, we establish a simulation scenario in which a number of mobile agents in a certain area move automatically to form a specified target shape. Extensive simulations demonstrate the effectiveness of our proposed method.

研究动机与目标

• 解决独立多智能体强化学习（IRL）中的非平稳学习与行为局部性问题。
• 通过引入信息素机制作为环境媒介的间接通信方式，减少对直接通信的依赖。
• 通过基于神经网络评估模块的优先级动作选择机制，提升智能体间的协调能力。
• 在保持有效智能体间协作的前提下，实现个体智能体的去中心化、联邦式训练。
• 在复杂且可扩展的多智能体任务（如集体形状形成）中，验证所提方法的有效性。

提出的方法

• 提出一种信息素机制，智能体在环境中沉积并响应数字信息素，其数学模型用于表征信息素浓度对动作选择的影响。
• 采用独立的神经网络评估动作优先级，实现冲突避免机制，减少相邻智能体间的碰撞。
• 设计一种联邦式训练方法，使每个智能体可独立优化策略，同时通过共享的环境信号维持协调。
• 采用去中心化学习框架，每个智能体基于自身观测与环境中的信息素信号进行学习。
• 应用奖励塑形策略，鼓励集体行为向目标形状聚集，仅在任务完成时提供全局反馈。
• 实现可调节范围的协调通道，以控制局部冲突避免的范围，实现响应速度与协调能力之间的权衡。

实验结果

研究问题

• RQ1 信息素机制能否在不依赖直接通信的前提下，被有效建模并整合到深度强化学习的多智能体协作中？
• RQ2 基于动作优先级的局部冲突避免机制在去中心化多智能体系统中如何提升协调能力？
• RQ3 所提出的联邦式训练方法在实现独立学习与去中心化优化的同时，能在多大程度上保持性能？
• RQ4 信息素与冲突避免机制的结合在形状形成任务中如何优于现有的IRL基线方法？
• RQ5 协调通道范围对多智能体形状形成任务的收敛速度与最终性能有何影响？

主要发现

• SIRL在最终相似度上达到与拥有完整智能体位置与目标形状信息的Oracle基线方法相当的水平，表明其具备高度的任务效率。
• 冲突避免机制显著提升了收敛速度与最终性能，尤其在密集或复杂结构（如环形目标）中表现突出。
• SIRL-A（将协调通道限制为最近邻，范围为1）的性能几乎与SIRL完全一致，表明局部协调已足够且高效。
• SIRL-WS（禁用冲突避免机制）虽初始增长更快，但收敛后的相似度更低，证明该机制对高性能至关重要。
• SIRL达到收敛所需的总步数与Oracle方法相当，表明其在实时任务执行中具备出色的可扩展性与效率。