[论文解读] Neurosymbolic Transformers for Multi-Agent Communication

Jeevana Priya Inala, Yichen Yang+6 more|arXiv (Cornell University)|Jan 5, 2021

Reinforcement Learning in Robotics被引用 11

一句话总结

本文提出神经符号Transformer，一种混合框架，将用于动作选择的Transformer策略与程序化通信策略相结合，以最小化合作多智能体系统中的通信量。通过先端到端训练Transformer以学习软注意力模式，再通过基于马尔可夫链蒙特卡洛（MCMC）采样的随机程序合成方法，生成离散且低度的通信图，该方法在显著降低通信带宽的同时实现接近最优的性能，在通信效率方面优于标准Transformer。

ABSTRACT

We study the problem of inferring communication structures that can solve cooperative multi-agent planning problems while minimizing the amount of communication. We quantify the amount of communication as the maximum degree of the communication graph; this metric captures settings where agents have limited bandwidth. Minimizing communication is challenging due to the combinatorial nature of both the decision space and the objective; for instance, we cannot solve this problem by training neural networks using gradient descent. We propose a novel algorithm that synthesizes a control policy that combines a programmatic communication policy used to generate the communication graph with a transformer policy network used to choose actions. Our algorithm first trains the transformer policy, which implicitly generates a "soft" communication graph; then, it synthesizes a programmatic communication policy that "hardens" this graph, forming a neurosymbolic transformer. Our experiments demonstrate how our approach can synthesize policies that generate low-degree communication graphs while maintaining near-optimal performance.

研究动机与目标

• 为解决在带宽受限条件下，合作多智能体规划中最小化通信的挑战。
• 设计一种通信策略，在低通信度与高性能之间取得平衡，避免固定或全连接通信图的局限性。
• 通过可学习且可解释的通信结构，实现在去中心化多智能体系统中的高效、可扩展且鲁棒的协调。
• 通过结合神经网络与符号程序合成，克服离散通信度目标函数的不可微性问题。
• 通过在通信决策中引入随机性，提升泛化能力与鲁棒性，且无需全局协调。

提出的方法

• 首先端到端训练一个Transformer策略，以学习软注意力权重，隐式建模有用的通信模式。
• 基于MCMC采样设计一种随机合成算法，生成与Transformer行为匹配且最小化通信图最大度的程序化通信策略。
• 程序化策略使用集合操作（过滤、映射）和随机选择来选择通信伙伴，实现分布式、鲁棒的决策。
• 最终的神经符号Transformer将合成程序中的通信图硬编码，然后仅在选定的边上传播中微调Transformer的注意力权重。
• 通信策略通过加权目标函数进行训练，以同时优化对原始Transformer的保真度与通信效率。
• 该方法支持多种通信度量（如最大入度、总边数），并可扩展至复杂观测输入（如LIDAR或摄像头输入）。

实验结果

研究问题

• RQ1 神经符号方法是否能在不牺牲任务性能的前提下减少多智能体系统中的通信量？
• RQ2 在学习框架中，如何有效优化离散且不可微的通信度目标函数？
• RQ3 具有随机选择的程序化通信策略是否能提升去中心化多智能体协调中的负载均衡与鲁棒性？
• RQ4 符号程序化策略在大幅降低通信量的同时，能否在性能上匹配软注意力Transformer？
• RQ5 所学习的通信规则与任务相关的智能体交互（如路径规划或碰撞避免）之间存在何种关联？

主要发现

• 所提出的神经符号Transformer在显著降低通信度的同时，实现了接近最优的任务性能，优于标准Transformer。
• 程序化通信策略通过使用随机选择，成功地在智能体间分布通信负载，避免了高连接度的中心节点。
• 合成的策略具有可解释性，通信聚焦于与长期规划或碰撞避免相关的智能体，如规则条件与得分的可视化所示。
• 该方法优于固定通信图（如基于距离的图），并学习到更有效、任务自适应的通信结构。
• 通过使用随机规则增强了鲁棒性，通信可动态适应链路故障而性能不下降。
• 该方法可泛化至不同通信度量，并可扩展至包含复杂观测（如摄像头或LIDAR输入）的环境。