[论文解读] The Emergence of Compositional Languages for Numeric Concepts Through Iterated Learning in Neural Agents

Shangmin Guo, Yi Ren+4 more|arXiv (Cornell University)|Oct 11, 2019

Language and cultural evolution参考文献 18被引用 17

一句话总结

该论文表明，通过深度神经网络智能体的迭代学习，数值概念的组合语言可以出现，但仅当输入表征（例如连接的独热向量或物体数量图像）使听者能够更快学习时才会如此。只有当组合语言比整体性替代方案更易学习时，组合语言才会占主导地位，这凸显了可学习性作为涌现语言中组合结构的关键驱动力。

ABSTRACT

Since first introduced, computer simulation has been an increasingly important tool in evolutionary linguistics. Recently, with the development of deep learning techniques, research in grounded language learning has also started to focus on facilitating the emergence of compositional languages without pre-defined elementary linguistic knowledge. In this work, we explore the emergence of compositional languages for numeric concepts in multi-agent communication systems. We demonstrate that compositional language for encoding numeric concepts can emerge through iterated learning in populations of deep neural network agents. However, language properties greatly depend on the input representations given to agents. We found that compositional languages only emerge if they require less iterations to be fully learnt than other non-degenerate languages for agents on a given input representation.

研究动机与目标

• 探究在无预定义语言元素的情况下，组合性语言是否能在多智能体通信系统中出现。
• 考察输入表征（连接、图像或向量集合）如何通过迭代学习影响组合性语言的涌现。
• 确定可学习性——具体而言，听者掌握一种语言所需的训练迭代次数——是否为组合性结构出现的决定性因素。
• 检验假设：在迭代学习环境中，组合性源于表达力与可学习性之间的权衡。

提出的方法

• 设计了一款名为“Bag-Select”的指代游戏，其中说话者观察一个包含特定数量两种物体类型（A 和 B）的袋子，生成一条消息，听者则从15个候选袋子中选出正确的一个。
• 使用了三种不同的输入表征：(1) 独热向量的连接（例如，'2A3B' → [001000; 000100]），(2) 包含不同数量物体的场景图像，(3) 表示数量的独热向量集合。
• 采用了不同的神经编码器：使用多层感知机（MLP）处理连接输入，使用类似LeNet-5的卷积神经网络（CNN）处理图像，使用带有Sigmoid激活函数的集合编码器处理向量集合，以保持排列不变性。
• 通过将一对对（说话者-听者）在代际间链式连接来实现迭代学习，其中每个听者在下一代中成为新的说话者，模拟文化传递过程。
• 使用交叉熵损失和随机梯度下降（SGD）训练智能体，性能通过消息准确率（说话者）和正确袋子选择率（听者）进行衡量。
• 通过随代际变化的涌现语言的拓扑相似性以及不同组合性程度（ρ）的语言后验概率，追踪语言的演化过程，使用平滑度量。

实验结果

研究问题

• RQ1 在神经智能体中，迭代学习是否会导致数值概念的组合性语言出现？
• RQ2 不同的输入表征（连接、图像、集合）如何影响涌现语言中组合性结构的出现？
• RQ3 一种语言的可学习性——通过听者掌握该语言所需的训练迭代次数衡量——是否为组合性语言占主导地位的决定性因素？
• RQ4 为何在基于集合的输入表征下，尽管表达力相似，组合性语言仍未能出现？

主要发现

• 当输入以连接的独热向量或图像形式表示时，组合性语言（ρ > 0.6）在代际中出现并占据主导地位，高组合性语言的后验概率稳步上升。
• 在连接和图像条件下，最终的涌现语言表现出清晰的组合性结构，例如存在与A和B物体数量对应的独立消息标记。
• 在基于集合的输入表征下，未出现组合性语言；最终语言为非组合性，消息标记与物体数量之间无明确映射关系。
• 与连接和图像条件相比，集合条件下的涌现语言拓扑相似性显著更低，表明代际间结构一致性较差。
• 在相同输入条件下，组合性语言比整体性或非组合性语言更易被听者学习，所需训练迭代次数更少，这解释了其在迭代学习中的主导地位。
• 结果支持该假设：组合性在表达力与可学习性的双重压力下出现，而集合表征因听者可学习性更高，尽管结构规律性较低，仍倾向于产生非组合性语言。