[论文解读] Networked Multi-Agent Reinforcement Learning with Emergent Communication

Shubham Gupta, Rishi Hazra+1 more|arXiv (Cornell University)|Apr 6, 2020

Reinforcement Learning in Robotics参考文献 30被引用 10

一句话总结

本文提出了一种基于网络的多智能体强化学习框架，其中协作智能体在部分可观测环境中发展出一种涌现的离散通信语言以实现协调。通过在固定网络拓扑上训练智能体交换符号化消息，该方法在交通管理任务中实现了最先进性能，并表明涌现语言与行为相关联，且受网络结构影响。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) methods find optimal policies for agents that operate in the presence of other learning agents. Central to achieving this is how the agents coordinate. One way to coordinate is by learning to communicate with each other. Can the agents develop a language while learning to perform a common task? In this paper, we formulate and study a MARL problem where cooperative agents are connected to each other via a fixed underlying network. These agents can communicate along the edges of this network by exchanging discrete symbols. However, the semantics of these symbols are not predefined and, during training, the agents are required to develop a language that helps them in accomplishing their goals. We propose a method for training these agents using emergent communication. We demonstrate the applicability of the proposed framework by applying it to the problem of managing traffic controllers, where we achieve state-of-the-art performance as compared to a number of strong baselines. More importantly, we perform a detailed analysis of the emergent communication to show, for instance, that the developed language is grounded and demonstrate its relationship with the underlying network topology. To the best of our knowledge, this is the only work that performs an in depth analysis of emergent communication in a networked MARL setting while being applicable to a broad class of problems.

研究动机与目标

• 研究在固定网络拓扑约束下，协作多智能体系统中的涌现通信机制。
• 开发一种可扩展的MARL方法，使智能体学习离散符号化通信以实现协调，且无需预定义语义。
• 评估在如交通管理等现实应用场景中，涌现语言的实用性与结构特征。
• 分析网络拓扑如何影响涌现通信协议的形成与一致性。
• 证明涌现语言与物理行为相关联，并反映网络中的结构性关系。

提出的方法

• 智能体通过固定网络连接，通过边交换离散符号进行通信，且无预定义语义。
• 采用端到端深度强化学习训练通信协议，智能体通过最大化共享累积奖励来优化。
• 通过注意力机制生成词嵌入，并利用t-SNE分析以评估语言结构与语义根基性。
• 从消息-响应矩阵计算动作嵌入，以评估不同智能体在消息使用上的一致性。
• 基于消息频率构建tf-idf矩阵，以分析词汇分布与群体级通信模式。
• 嵌入的t-SNE可视化揭示了与动作及网络结构社区相对应的聚类。

实验结果

研究问题

• RQ1 在基于网络的MARL中，涌现通信是否能提升协作任务中的协调性与性能？
• RQ2 涌现语言是否与物理行为相关联，使得特定符号始终对应特定行为？
• RQ3 底层网络拓扑如何影响涌现通信协议的结构与一致性？
• RQ4 即使通信受拓扑限制，智能体是否仍能发展出共享且功能性的语言？
• RQ5 是否存在与网络结构社区对齐的可检测通信模式群组？

主要发现

• 与强基线相比，所提方法在交通管理任务中实现了最先进性能，证明了涌现通信的实用性。
• 词嵌入的t-SNE可视化显示了与特定行为相对应的清晰聚类，表明涌现语言与行为具有根基性。
• 共享共同邻居的智能体表现出高度相似的动作嵌入，表明其对相同动作使用一致的消息。
• tf-idf矩阵与t-SNE图表明，向同一接收者广播消息的智能体形成紧密的通信群体，反映出网络结构。
• 在更大网络中，通信空间中出现两个明显不同的社区，其词汇存在重叠，表明跨社区共享语言元素。
• 结果证实，涌现通信并非随意的，而是受底层网络拓扑塑造，结构邻近性影响语言一致性。