[论文解读] The emergence of numerical representations in communicating artificial agents

Daniela Mihai, Lucas Weber+1 more|arXiv (Cornell University)|Feb 11, 2026

Cognitive and developmental aspects of mathematical skills被引用 0

一句话总结

论文研究纯粹的沟通压力是否能让两个神经代理发展出数值表征，使用离散标记和连续草图，并评估 emergent codes 的精确性、泛化性和任意性。

ABSTRACT

Human languages provide efficient systems for expressing numerosities, but whether the sheer pressure to communicate is enough for numerical representations to arise in artificial agents, and whether the emergent codes resemble human numerals at all, remains an open question. We study two neural network-based agents that must communicate numerosities in a referential game using either discrete tokens or continuous sketches, thus exploring both symbolic and iconic representations. Without any pre-defined numeric concepts, the agents achieve high in-distribution communication accuracy in both communication channels and converge on high-precision symbol-meaning mappings. However, the emergent code is non-compositional: the agents fail to derive systematic messages for unseen numerosities, typically reusing the symbol of the highest trained numerosity (discrete), or collapsing extrapolated values onto a single sketch (continuous). We conclude that the communication pressure alone suffices for precise transmission of learned numerosities, but additional pressures are needed to yield compositional codes and generalisation abilities.

研究动机与目标

• 评估仅靠沟通压力是否能在没有预设概念的情况下在神经代理中产生数值表征。
• 比较符号化（离散标记）与图像化（草图）沟通通道在求解数目指涉任务中的作用。
• 评估新兴编码的属性：精确性、效率、任意性、泛化性以及潜在的组合性。
• 考察训练数据频率和学习策略对编码结构与泛化的影响。

提出的方法

• 使用一个指代游戏，发送者必须将点图的数目传达给接收者，接收者在干扰项中选择匹配目标。
• 测试两种沟通通道：由 LSTM 编码器产生的离散标记，以及在空白画布上绘制的连续草图，由同一图像编码器读取。
• 两者共享一个预训练的 ViT 编码器来处理点图，并使用多分类铰链损失以最大化正确目标识别。
• 训练与泛化阶段评估在范围内的和未见的数目，以研究泛化和外推。
• 评价指标包括任务准确率、信息传达的消息长度或草图跨度、给定信息的数目的条件熵，以及正则化对效率的影响。
• 刺激物受控以将数目作为信息特征 isolating，从而尽量减少来自视觉属性的混淆。

实验结果

研究问题

• RQ1 纯粹的沟通互动是否在没有预设概念的情况下产生出精确的数值表征？
• RQ2 离散通道与连续通道在沟通压力下会产生相似还是不同的数值编码？
• RQ3 新兴编码是否能泛化到未见的数目，且是组装性还是整体性？
• RQ4 频率分布和学习策略如何影响编码的效率与结构？

主要发现

• 代理在离散和连续通道中对训练数目表现出高准确性的沟通能力。
• 在正则化压力下，信息变得更短且在准确性损失极小且熵更低，表明编码是高效的双射。
• 操作训练频率（Uniform/Increase/Decrease）并未可靠地产生对常见数目的更短编码，任意性仍然存在。
• 对未见数目的泛化较弱：代理在外推时倾向重复使用最大训练数目的符号，显示缺乏系统性结构。
• 基于草图的沟通在外推方面优于偶然性，但仍未产生组合性的草图；两种通道在很大程度上保持整体性。
• 总体而言，沟通压力能够实现对已学习数目的精确传达，但需要额外的压力以实现组合性和鲁棒泛化。