[论文解读] Succinct and Robust Multi-Agent Communication With Temporal Message Control

Sai Qian Zhang, Jieyu Lin+1 more|arXiv (Cornell University)|Oct 27, 2020

Distributed Control Multi-Agent Systems参考文献 37被引用 28

一句话总结

本文提出时间消息控制（TMC），一种通过仅在检测到新信息时才传输消息，并结合时间平滑和消息缓冲机制，以减少多智能体强化学习中智能体间通信的方法。TMC在SMAC、Predator-Prey和协作导航基准测试中，将通信开销降低高达80%，并在严重丢包条件下保持高性能，其鲁棒性和效率优于现有方法。

ABSTRACT

Recent studies have shown that introducing communication between agents can significantly improve overall performance in cooperative Multi-agent reinforcement learning (MARL). However, existing communication schemes often require agents to exchange an excessive number of messages at run-time under a reliable communication channel, which hinders its practicality in many real-world situations. In this paper, we present extit{Temporal Message Control} (TMC), a simple yet effective approach for achieving succinct and robust communication in MARL. TMC applies a temporal smoothing technique to drastically reduce the amount of information exchanged between agents. Experiments show that TMC can significantly reduce inter-agent communication overhead without impacting accuracy. Furthermore, TMC demonstrates much better robustness against transmission loss than existing approaches in lossy networking environments.

研究动机与目标

• 为解决现有多智能体通信方案在真实环境中通信开销高且鲁棒性差的问题。
• 减少动态环境中因观测值时间相关性导致的冗余消息交换。
• 提升系统在带宽受限且通信不可靠的信道中对消息丢失的鲁棒性。
• 实现在自动驾驶和无人机控制等通信受限场景中多智能体强化学习的实际部署。
• 在几乎不依赖全局状态的前提下，大幅减少智能体间通信，同时保持高性能。

提出的方法

• TMC引入时间平滑机制，仅在相对于上一条发送消息检测到新信息时才允许消息传输。
• 每个智能体使用正则化项惩罚冗余消息，基于信息新颖性鼓励通信稀疏化。
• 在接收端，智能体维护来自其他智能体的最新消息缓冲区，即使在消息丢失时也能进行决策。
• 缓冲机制通过利用先前接收的数据恢复丢失消息，从而内在地提升鲁棒性。
• TMC与价值分解网络（如VDN）集成，并引入可学习超参数以平衡通信频率与性能。
• 该方法使用相似性阈值（δ）和权重参数（λr, β1, β2, λs）控制消息传输与正则化。

实验结果

研究问题

• RQ1 是否可以在不牺牲性能的前提下，显著提升多智能体强化学习中智能体间通信的效率？
• RQ2 如何利用观测值的时间相关性来减少冗余消息交换？
• RQ3 消息缓冲在多智能体系统中对通信丢失的鲁棒性提升程度如何？
• RQ4 在极端丢包条件下，通信方案能否在降低带宽使用的同时保持高性能？
• RQ5 在丢包环境中，TMC与现有通信方法相比，在通信开销和鲁棒性方面表现如何？

主要发现

• 在StarCraft多智能体挑战（SMAC）环境中，TMC的平均胜率比现有方法高出23%。
• 在Predator-Prey和协作导航环境中，TMC+VDN的归一化奖励分别达到基线方法的1.24倍和1.35倍。
• 与现有方案相比，TMC将通信开销降低高达80%，在Predator-Prey和协作导航环境中平均分别降低3.2倍和2.9倍。
• 在视距阻塞导致的丢包通信条件下，TMC保持高胜率，而其他方法性能下降至接近0%。
• TMC在间歇性通信环境中表现出卓越鲁棒性，消息缓冲使智能体在丢包情况下仍能持续协调。
• 该方法无需依赖全局状态即可有效运行，适用于去中心化、真实世界部署。