[论文解读] Towards Human-Agent Communication via the Information Bottleneck Principle

Mycal Tucker, Julie Shah+2 more|arXiv (Cornell University)|Jun 30, 2022

Language and cultural evolution被引用 11

一句话总结

本文提出 VQ-VIB，一种神经架构，通过信息瓶颈原理训练智能体在任务效用、沟通信息量和信号复杂度之间取得平衡。通过优化这一权衡，VQ-VIB 实现了更快的收敛速度、类人的词典规模，以及在信号形式与语义对齐方面优于以往离散通信方法的表现。

ABSTRACT

Emergent communication research often focuses on optimizing task-specific utility as a driver for communication. However, human languages appear to evolve under pressure to efficiently compress meanings into communication signals by optimizing the Information Bottleneck tradeoff between informativeness and complexity. In this work, we study how trading off these three factors -- utility, informativeness, and complexity -- shapes emergent communication, including compared to human communication. To this end, we propose Vector-Quantized Variational Information Bottleneck (VQ-VIB), a method for training neural agents to compress inputs into discrete signals embedded in a continuous space. We train agents via VQ-VIB and compare their performance to previously proposed neural architectures in grounded environments and in a Lewis reference game. Across all neural architectures and settings, taking into account communicative informativeness benefits communication convergence rates, and penalizing communicative complexity leads to human-like lexicon sizes while maintaining high utility. Additionally, we find that VQ-VIB outperforms other discrete communication methods. This work demonstrates how fundamental principles that are believed to characterize human language evolution may inform emergent communication in artificial agents.

研究动机与目标

• 探究将效用、信息量和复杂度约束相结合，如何塑造人工智能体的涌现通信。
• 开发一种方法，实现使用连续向量表示的离散符号通信，提升可解释性并增强与人类语言的对齐。
• 检验是否通过优化信息瓶颈权衡，可产生更类人的通信系统。
• 在具身环境和参照游戏中，将 VQ-VIB 与现有离散通信方法进行比较。
• 评估涌现通信模式是否与跨语言的人类颜色命名数据一致。

提出的方法

• 提出向量量化变分信息瓶颈（VQ-VIB），一种训练智能体将输入压缩为嵌入在连续空间中的离散信号的方法。
• 采用多目标损失函数，平衡任务效用（λU）、沟通信息量（λI）和信号复杂度（λC）。
• 采用说话者-听者架构，其中说话者将输入映射为离散信号，听者重建输入，通过失真度量信息量。
• 应用向量量化以强制实现离散信号表示，同时通过直通估计保持可微性。
• 使用互信息 I(X,C) 作为复杂度的代理，使用重建误差 E[d(X, X̂)] 作为信息量的代理。
• 对复杂度损失（λC）采用线性退火，生成从高复杂度到低复杂度的连续通信系统谱系。

实验结果

研究问题

• RQ1 优化沟通信息量对涌现通信收敛速度有何影响？
• RQ2 惩罚沟通复杂度是否能导致涌现通信系统具备类人的词典规模？
• RQ3 VQ-VIB 在效用、复杂度和信息量方面相较于其他离散通信方法表现如何？
• RQ4 VQ-VIB 训练的涌现通信系统在多大程度上与跨语言的人类颜色命名惯例一致？
• RQ5 VQ-VIB 智能体的形式-语义映射是否反映颜色空间中的感知相似性，如同人类语言所见？

主要发现

• 增加信息量损失（λI）显著提升了所有环境和架构中的训练收敛速度，包括粒子世界和颜色参照游戏。
• 对复杂度损失（λC）进行退火，生成了连续的通信系统谱系，随着复杂度降低，词典规模逐渐减小。
• 在相同复杂度和信息量水平下，VQ-VIB 的任务效用高于 onehot 和基于原型的方法，证明了其架构优势。
• VQ-VIB 的通信向量距离与感知颜色距离（CIELAB）之间的决定系数为 r² = 0.97 ± 0.01，而 onehot 方法为 r² = 0.76 ± 0.03，表明形式-语义对齐更强。
• 在不同复杂度水平下，VQ-VIB 智能体学习到的颜色命名方案与真实人类语言高度匹配，基于 gNID 的匹配分析表明，退火复杂度是匹配多样化语言惯例的必要条件。
• VQ-VIB 学习到的通信系统非常接近信息瓶颈的理论上限，表明其在复杂度与信息量之间实现了近乎最优的权衡。