[论文解读] Reinforcement Communication Learning in Different Social Network Structures

Marina Dubova, Arseny Moskvichev+1 more|arXiv (Cornell University)|Jul 19, 2020

Language and cultural evolution参考文献 23被引用 6

一句话总结

本研究探讨社会网络结构如何影响多智能体强化学习（MARLC）中通信系统的涌现。通过使用深度Q-learning智能体的协调博弈，研究发现全局网络连通性促进共享且对称的通信惯例的形成，而高局部连通性则导致碎片化的‘方言’和非对称信号。关键发现是，全局连接的比例是决定通信系统同质性与对称性的主要驱动因素。

ABSTRACT

Social network structure is one of the key determinants of human language evolution. Previous work has shown that the network of social interactions shapes decentralized learning in human groups, leading to the emergence of different kinds of communicative conventions. We examined the effects of social network organization on the properties of communication systems emerging in decentralized, multi-agent reinforcement learning communities. We found that the global connectivity of a social network drives the convergence of populations on shared and symmetric communication systems, preventing the agents from forming many local "dialects". Moreover, the agent's degree is inversely related to the consistency of its use of communicative conventions. These results show the importance of the basic properties of social network structure on reinforcement communication learning and suggest a new interpretation of findings on human convergence on word conventions.

研究动机与目标

• 探究社会网络拓扑结构如何影响去中心化多智能体强化学习中通信系统的涌现。
• 分离网络层面属性（如平均度和全局连通性）对通信收敛性与对称性的影响。
• 检验MARLC智能体是否能复现命名游戏实验中观察到的人类类似收敛模式。
• 评估网络结构是否影响信号与动作映射的一致性与可预测性。

提出的方法

• 智能体在协调博弈中进行交互：说话者发送信号，听者选择动作；匹配的动作可获得奖励。
• 社交网络（随机网络、全连通网络、环形网络、小世界网络）决定了哪些智能体可以相互作用，智能体仅能与直接邻居通信。
• 每个智能体使用深度Q网络通过强化学习学习最优信号与动作策略。
• 通过信息论指标评估通信质量：信号差异度、动作映射差异度，以及信号与动作的一致性。
• 实验改变网络结构，并测量通信协议的收敛性、对称性与可预测性。
• 使用95%置信区间进行统计分析，评估不同网络类型与条件之间的差异。

实验结果

研究问题

• RQ1 社会网络拓扑结构在多智能体强化学习中如何影响智能体对共享通信惯例的收敛？
• RQ2 网络的平均度在多大程度上影响智能体信号与倾听行为的一致性？
• RQ3 全局连接比例在减少局部‘方言’形成并促进对称通信方面发挥何种作用？
• RQ4 网络结构如何影响不同角色（说话者与听者）之间信号的对称性？
• RQ5 具有去中心化学习的MARLC能否复现社会网络实验中观察到的人类语言惯例收敛的类似模式？

主要发现

• 全连通（团）网络产生的通信系统同质性最高，智能体间信号差异最小，且对称性最高。
• 环形网络与随机网络中的智能体发展出多种局部‘方言’，表现出较高的智能体间信号差异度以及不一致的角色信号行为。
• 平均度更高的智能体表现出更低的信号与倾听一致性，表明更广泛的交互网络会降低个体行为的可预测性。
• 小世界网络中全局连接的比例是通信系统对称性与收敛性的最强预测因子。
• 尽管环形网络的平均奖励较高，但详细分析显示其通信对称性差且局部变异度高，表明仅凭性能指标不足以评估通信质量。