[论文解读] When2com: Multi-Agent Perception via Communication Graph Grouping

Yen‐Cheng Liu, Junjiao Tian+2 more|arXiv (Cornell University)|May 30, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 36被引用 6

一句话总结

该论文提出 When2com，一种用于多智能体感知的可学习通信框架，能够动态形成通信组并决定通信时机，显著降低带宽使用量，同时保持高性能。通过将通信解耦为查询与键组件并采用不对称大小设计，该方法在语义分割和3D形状识别等任务上实现了卓越的效率与泛化能力，且无需依赖通信标签的监督信号。

ABSTRACT

While significant advances have been made for single-agent perception, many applications require multiple sensing agents and cross-agent communication due to benefits such as coverage and robustness. It is therefore critical to develop frameworks which support multi-agent collaborative perception in a distributed and bandwidth-efficient manner. In this paper, we address the collaborative perception problem, where one agent is required to perform a perception task and can communicate and share information with other agents on the same task. Specifically, we propose a communication framework by learning both to construct communication groups and decide when to communicate. We demonstrate the generalizability of our framework on two different perception tasks and show that it significantly reduces communication bandwidth while maintaining superior performance.

研究动机与目标

• 解决在带宽受限的分布式多智能体感知场景中，智能体在无中心协调的情况下协同工作的挑战。
• 开发一种可学习框架，同时决定何时通信以及与谁通信，以减少冗余或有害的传输。
• 在语义分割（密集预测）和3D形状识别（全局预测）等多样化感知任务中实现泛化。
• 消除对通信决策的显式监督，仅依赖下游任务信号进行训练。
• 提供一个新的基准数据集 AirSim-MAP，用于多智能体感知研究。

提出的方法

• 该框架采用握手通信机制，智能体基于查询-键匹配计算通信得分，实现动态组的形成。
• 将通信解耦为不对称的消息（键）与查询组件，通过减小查询尺寸、增大键尺寸，降低带宽开销。
• 通信决策通过类似注意力机制的端到端方式学习，无需通信标签的监督。
• 模型仅使用下游任务的监督信号（如分割掩码、类别标签）进行端到端训练。
• 当查询-键匹配得分超过学习到的阈值时，形成通信组，实现选择性、上下文感知的协作。
• 系统支持全连接通信与基于组的通信，后者可动态裁剪无关连接。

实验结果

研究问题

• RQ1 可学习通信框架是否能在不牺牲准确率的前提下，降低多智能体感知中的带宽使用？
• RQ2 与固定或全连接通信相比，动态通信组形成在多智能体设置中有多高效？
• RQ3 模型在仅依赖下游任务信号的情况下，能在多大程度上学会决定何时通信？
• RQ4 不对称的查询与键尺寸对通信效率与性能有何影响？
• RQ5 该框架是否能在语义分割（密集预测）与3D形状识别（全局预测）等多样化感知任务中实现泛化？

主要发现

• When2com 在多智能体语义分割任务中，相比全连接基线，通信带宽最高降低4倍，同时保持相当的性能水平。
• 在3D形状识别任务中，模型仅使用 TarMac（强基线）1/8的带宽，即实现了具有竞争力的准确率。
• 握手通信机制显著提升了通信准确性，优于随机通信以及未使用握手模块的模型。
• 当查询维度达到16维时，分组准确率趋于饱和，但随着键尺寸增大（最高至1024D），准确率仍持续提升，表明有效利用了不对称性。
• 模型在 WhenToCom 和 Grouping 指标上均实现了高选择准确率，表明其在何时以及与谁通信的决策上表现优异。
• 消融实验表明，所提出的握手机制对实现准确、上下文感知的通信决策至关重要。