[论文解读] RGMComm: Return Gap Minimization via Discrete Communications in Multi-Agent Reinforcement Learning

Jingdi Chen, Lü Tian+1 more|arXiv (Cornell University)|Aug 7, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

RGMComm 提出了一种用于多智能体强化学习的离散通信框架，旨在最小化部分可观测策略与理想全可观测策略之间的回报差距。通过将消息生成建模为基于余弦距离的正则化信息最大化损失的在线聚类，RGMComm 实现了具有可解释性、低比特率消息的最先进性能，并提供了回报差距的闭式上界，确保了理论上的性能保证。

ABSTRACT

Communication is crucial for solving cooperative Multi-Agent Reinforcement Learning tasks in partially observable Markov Decision Processes. Existing works often rely on black-box methods to encode local information/features into messages shared with other agents, leading to the generation of continuous messages with high communication overhead and poor interpretability. Prior attempts at discrete communication methods generate one-hot vectors trained as part of agents' actions and use the Gumbel softmax operation for calculating message gradients, which are all heuristic designs that do not provide any quantitative guarantees on the expected return. This paper establishes an upper bound on the return gap between an ideal policy with full observability and an optimal partially observable policy with discrete communication. This result enables us to recast multi-agent communication into a novel online clustering problem over the local observations at each agent, with messages as cluster labels and the upper bound on the return gap as clustering loss. To minimize the return gap, we propose the Return-Gap-Minimization Communication (RGMComm) algorithm, which is a surprisingly simple design of discrete message generation functions and is integrated with reinforcement learning through the utilization of a novel Regularized Information Maximization loss function, which incorporates cosine-distance as the clustering metric. Evaluations show that RGMComm significantly outperforms state-of-the-art multi-agent communication baselines and can achieve nearly optimal returns with few-bit messages that are naturally interpretable.

研究动机与目标

• 解决现有离散通信方法在多智能体强化学习中缺乏理论保证的问题。
• 通过用离散、有限字母表的消息替代连续、黑箱消息，降低通信开销并提高可解释性。
• 最小化具有通信的部分可观测策略与理想全可观测策略之间的回报差距。
• 通过本地观测的在线聚类，实现无需预设语义的动态、去中心化消息生成。
• 提供回报差距的闭式上界，以指导消息设计与训练。

提出的方法

• 将全可观测策略与具有离散通信的部分可观测策略之间的回报差距形式化为一个上界，该上界涉及同一聚类中联合动作值向量之间平均余弦距离的函数。
• 将消息生成重新表述为在线聚类问题，其中消息对应聚类标签，回报差距上界作为聚类损失。
• 提出一种新颖的正则化信息最大化（RIM）损失函数，将余弦距离作为聚类度量，以最小化回报差距。
• 采用双流神经网络架构，共享权重用于动作值估计与消息生成，通过双曲正切函数归一化及自适应缩放。
• 使用软更新机制更新目标网络，τ = 0.01，并为智能体网络（0.0001）和评论家网络（0.001）分别设置独立的学习率。
• 应用 Gumbel-Softmax 松弛实现可微分的消息采样，支持端到端训练，同时保持离散消息的语义特性。

实验结果

研究问题

• RQ1 我们能否推导出全可观测策略与具有离散通信的部分可观测策略之间回报差距的闭式上界？
• RQ2 如何设计一种离散通信机制，以最小化该回报差距，同时确保可解释性与低通信成本？
• RQ3 能否将消息生成建模为基于本地观测的在线聚类问题，以回报差距作为聚类目标？
• RQ4 使用余弦距离作为聚类度量是否相比其他距离度量能带来更好的性能与更可解释的消息？
• RQ5 在不同消息字母表大小下，RGMComm 与现有基线方法在回报、通信效率和可解释性方面的表现如何？

主要发现

• RGMComm 仅使用每条消息少数比特即可实现接近最优的回报，显著优于最先进的基线方法，如 CommNet、IC3Net、TarMAC 和 SARNet。
• 该方法提供了回报差距的理论闭式上界，其形式为 O(√ε n Q_max)，其中 ε 为同一聚类中动作值向量之间的平均余弦距离。
• 消融实验确认余弦距离对性能至关重要，而使用 softmax 等替代归一化方式会降低性能。
• RGMComm 实现了可解释的通信：消息对应于有意义的观测聚类，如可视化示例所示。
• 该算法在训练过程中动态学习消息语义，无需预设通信协议或共享词汇表。
• 在网格迷宫环境设置中，RGMComm 在某些场景下的平均回合奖励高于集中式 Q-learning，表明简单的、可学习的策略结合离散通信，由于组合复杂度降低，可超越复杂的全可观测策略。