[论文解读] The Emergence of Adversarial Communication in Multi-Agent Reinforcement Learning

Jan Blumenkamp, Amanda Prorok|arXiv (Cornell University)|Aug 6, 2020

Reinforcement Learning in Robotics参考文献 41被引用 18

一句话总结

本文提出了一种多智能体强化学习框架，使自利智能体能够通过共享的可微分通信通道学习对抗性通信策略，即使未显式优化操纵行为亦可实现。关键发现是，自利智能体可通过欺骗性信息操纵他人，显著超越合作团队，性能提升最高达229%，尤其在奖励来自有限资源池时表现更明显。

ABSTRACT

Many real-world problems require the coordination of multiple autonomous agents. Recent work has shown the promise of Graph Neural Networks (GNNs) to learn explicit communication strategies that enable complex multi-agent coordination. These works use models of cooperative multi-agent systems whereby agents strive to achieve a shared global goal. When considering agents with self-interested local objectives, the standard design choice is to model these as separate learning systems (albeit sharing the same environment). Such a design choice, however, precludes the existence of a single, differentiable communication channel, and consequently prohibits the learning of inter-agent communication strategies. In this work, we address this gap by presenting a learning model that accommodates individual non-shared rewards and a differentiable communication channel that is common among all agents. We focus on the case where agents have self-interested objectives, and develop a learning algorithm that elicits the emergence of adversarial communications. We perform experiments on multi-agent coverage and path planning problems, and employ a post-hoc interpretability technique to visualize the messages that agents communicate to each other. We show how a single self-interested agent is capable of learning highly manipulative communication strategies that allows it to significantly outperform a cooperative team of agents.

研究动机与目标

• 探究多智能体系统中的自利智能体是否能在无显式对抗训练的情况下，学习对抗性通信策略。
• 填补多智能体强化学习中非合作智能体通常缺乏共享可微分通信通道的空白。
• 开发一种统一的、单体式的神经网络架构，支持异构奖励与共同通信媒介。
• 评估在资源受限环境中，智能体竞争有限奖励时操纵性通信的涌现。
• 通过事后分析实现对所学消息的可解释性，可视化自利智能体如何编码欺骗性信号。

提出的方法

• 设计一种单体式、可去中心化的神经网络架构，支持多种不同的奖励函数，并在所有智能体之间共享可微分通信通道。
• 实现一种强化学习算法，使智能体在拥有独立非共享奖励的同时，仍保持共同的通信机制。
• 使用图卷积神经网络（GCNNs）处理智能体间的关系图结构，实现局部化、多跳的消息传递。
• 应用白盒可解释性技术，重构并可视化智能体所发送消息的内容，尤其关注自利智能体。
• 先训练合作智能体，然后固定其策略，单独训练一个自利智能体，以观察操纵性通信的涌现。
• 在多智能体覆盖与路径规划任务中，通过不同奖励结构的实验，评估性能与通信行为。

实验结果

研究问题

• RQ1 自利智能体是否能在无显式对抗优化的情况下，通过共享可微分通信通道学习对抗性通信策略？
• RQ2 在何种环境条件下，多智能体系统中具有冲突局部奖励的对抗性通信会涌现？
• RQ3 操纵性通信策略如何影响合作智能体与自利智能体的性能？
• RQ4 事后可解释性技术在多大程度上能揭示自利智能体所使用的欺骗性消息编码？
• RQ5 合作智能体若能适应自利智能体的策略，是否能消除对抗性通信带来的优势？

主要发现

• 在启用对抗性通信时，自利智能体在路径规划与覆盖任务中的性能相较无通信情况，提升了112%至229%。
• 当自利智能体使用对抗性通信时，合作团队的性能显著下降，尤其在资源受限环境中更为明显。
• 事后可解释性分析显示，自利智能体学习到了与合作策略不同的狡诈消息编码方式。
• 重新适应后，合作团队的性能恢复至与完全合作团队（具备通信）相当的水平。
• 对抗性通信主要在局部奖励来自有限资源池或资源存在竞争时涌现。
• 自利智能体无需被设计为对抗性；其操纵行为是其在优化自身奖励时，忽视其他智能体奖励的自然结果。