[论文解读] Understanding Early Word Learning in Situated Artificial Agents

Felix Hill, Stephen Clark+2 more|arXiv (Cornell University)|Oct 26, 2017

Multimodal Machine Learning Applications参考文献 52被引用 24

一句话总结

本文在3D模拟环境中，采用强化学习框架，研究了具身人工智能智能体的早期词汇习得。智能体通过试错交互，学会将单个词汇与视觉指代物关联，展现出类似人类的学习动态，如词汇爆发和语义偏见；同时，一种新颖的可视化方法揭示了不同词类在语言与视觉通路中的激活差异。

ABSTRACT

Neural network-based systems can now learn to locate the referents of words and phrases in images, answer questions about visual scenes, and execute symbolic instructions as first-person actors in partially-observable worlds. To achieve this so-called grounded language learning, models must overcome challenges that infants face when learning their first words. While it is notable that models with no meaningful prior knowledge overcome these obstacles, researchers currently lack a clear understanding of how they do so, a problem that we attempt to address in this paper. For maximum control and generality, we focus on a simple neural network-based language learning agent, trained via policy-gradient methods, which can interpret single-word instructions in a simulated 3D world. Whilst the goal is not to explicitly model infant word learning, we take inspiration from experimental paradigms in developmental psychology and apply some of these to the artificial agent, exploring the conditions under which established human biases and learning effects emerge. We further propose a novel method for visualising semantic representations in the agent.

研究动机与目标

• 通过模仿发展心理学范式，理解人工智能智能体早期词汇习得的机制。
• 探究人工智能智能体在词汇习得过程中是否表现出类似人类的习得偏见，如对形状或颜色的偏好。
• 开发一种新颖的神经网络语义表征可视化方法，以分析语言与视觉通路的交互方式。
• 研究词汇习得的动力学特征，特别是词汇爆发的出现，并评估加速学习的方法。
• 通过分析对不同词类的激活模式，评估语义表征的具身性。

提出的方法

• 智能体在仅包含有限视觉与语言刺激的3D模拟环境中，通过策略梯度强化学习进行训练。
• 每轮试验呈现一个词汇和两个物体；智能体通过选择运动动作进行探索与识别，成功后获得标量奖励。
• 采用基于课程的训练调度，调节经验输入以加速学习，尤其在早期阶段。
• 引入辅助学习目标，强化词汇与智能体回放的视觉经验之间的关联，以提高词汇学习效率。
• 提出一种新颖的可视化技术，通过反向传播激活梯度至视觉输入，实现实时空间位置上的注意力映射。
• 在网络的拼接层测量视觉与语言通路的激活强度，以比较各类词型的相对贡献。

实验结果

研究问题

• RQ1 智能体是否表现出词汇爆发，即在初始缓慢阶段后迅速加速习得词汇，与人类婴儿的快速早期词汇获取现象相一致？
• RQ2 智能体在词汇习得过程中是否发展出对特定语义特征（如形状或颜色）的偏好，反映已知的人类认知偏见？
• RQ3 智能体神经网络中的语义表征如何演化？能否通过可视化揭示其注意力焦点与通路参与情况？
• RQ4 不同词类（如颜色、方向、形状）在多大程度上激活网络中的视觉通路与语言通路？
• RQ5 辅助训练目标与课程学习是否能显著提升智能体词汇学习的速度与稳定性？

主要发现

• 智能体表现出词汇爆发，词汇习得在初始缓慢阶段后迅速加速，与人类婴儿的词汇爆发现象高度相似。
• 智能体发展出形状偏见，对形状差异的区分偏好显著强于颜色，与发育心理学研究结果一致。
• 方向类词汇在视觉通路中的激活显著低于其他词类，表明此类词汇更多地基于动作与运动表征。
• 所提出的可视化方法成功地将注意力映射至视觉场中的特定空间区域，揭示了不同词汇如何聚焦智能体的感知注意力。
• 智能体的表征中出现语义聚类，同一语义类别的词（如颜色、形状）在潜在空间中趋于聚集，表明其学习了结构化的语义表征。
• 辅助学习目标与课程调度均显著加快收敛速度并提升早期训练阶段的词汇学习性能。