[论文解读] Relational Forward Models for Multi-Agent Learning

Andrea Tacchetti, Hui Song+6 more|arXiv (Cornell University)|Sep 28, 2018

Neural Networks and Applications被引用 26

一句话总结

本文提出关系前向模型（RFM），一种基于图网络的方法，通过建模实体及其相互作用来学习多智能体系统动力学。通过将RFM模块集成到智能体中，系统在无需集中控制的情况下实现了更快的协调学习，在Stag Hunt和协作导航等多智能体环境中，样本效率最高提升了2倍。

ABSTRACT

The behavioral dynamics of multi-agent systems have a rich and orderly structure, which can be leveraged to understand these systems, and to improve how artificial agents learn to operate in them. Here we introduce Relational Forward Models (RFM) for multi-agent learning, networks that can learn to make accurate predictions of agents' future behavior in multi-agent environments. Because these models operate on the discrete entities and relations present in the environment, they produce interpretable intermediate representations which offer insights into what drives agents' behavior, and what events mediate the intensity and valence of social interactions. Furthermore, we show that embedding RFM modules inside agents results in faster learning systems compared to non-augmented baselines. As more and more of the autonomous systems we develop and interact with become multi-agent in nature, developing richer analysis tools for characterizing how and why agents make decisions is increasingly necessary. Moreover, developing artificial agents that quickly and safely learn to coordinate with one another, and with humans in shared environments, is crucial.

研究动机与目标

• 解决在无集中控制器或参数共享的情况下，促进多智能体强化学习（MARL）中协调行为的挑战。
• 开发可解释的分析工具，以理解驱动智能体行为的因素以及多智能体系统中社会互动的产生机制。
• 通过为智能体增加对队友未来行为的内部模型，提升MARL中的样本效率。
• 通过在地面上集成RFM模块，利用对他人行为的预测，使智能体能够更快地学习协调。
• 提供一种可扩展的、非侵入性的方法，仅使用轨迹数据分析涉及人工和人类智能体的系统中的行为动态。

提出的方法

• 将RFM构建为图神经网络（GNN）编码器、图门控循环单元（GRU）和GNN解码器的堆叠结构，以在关系图上建模时间动力学。
• 将环境表示为异构图，其中节点为智能体和物体，边编码实体之间的关系（例如，距离、方向）。
• 使用交叉熵损失端到端训练RFM模块，基于当前状态表示预测其他智能体的未来动作。
• 通过将预测动作的logits转换为图像平面表示，增强学习智能体的观测流，再与自中心观测拼接。
• 将RFM模块直接集成到每个智能体的策略网络中，使其在训练期间能够利用对队友行为的预测进行规划。
• 在无智能体间参数共享或梯度泄漏的情况下，联合训练RFM和策略网络，确保去中心化学习。

实验结果

研究问题

• RQ1 关系前向模型能否在多智能体环境中准确预测智能体的未来行为？
• RQ2 RFM的中间表示是否能提供关于驱动智能体行为和社会互动动态因素的可解释洞察？
• RQ3 在智能体中嵌入RFM模块是否能相比非增强基线方法，实现更快的协调行为学习？
• RQ4 RFM智能体能否在无显式通信的情况下，仅从观察到的动作中推断出队友的偏好和意图？
• RQ5 RFM方法在不同多智能体环境及不同数量智能体下是否具有可扩展性和有效性？

主要发现

• RFM模型在前向动力学预测任务中优于先前方法，在Stag Hunt、协作导航和硬币游戏等多智能体环境中均实现了更高的准确性。
• RFM的中间表示提供了可解释的洞察，揭示了哪些实体和关系影响智能体行为，并调节社会互动的正负性与强度。
• 与非增强基线相比，RFM增强的智能体显著加快了协调行为的学习速度，在Stag Hunt中约60万步内达到25分的奖励，而基线智能体则需约100万步。
• 在4名智能体的Stag Hunt变体中，RFM增强智能体在约50万步内达到相同性能阈值，而基线智能体需约100万步，证明了其可扩展性。
• 在硬币游戏中，RFM增强智能体在从队友动作中推断负向硬币颜色方面表现出更高的效率，表明其意图识别能力更优。
• 车载RFM模块在无需通信、参数共享或集中控制器的情况下实现了更快的学习，表明对队友的内部建模可加速协调。