[论文解读] Towards Multi-Agent Communication-Based Language Learning

Angeliki Lazaridou, Pham, Nghia The+1 more|arXiv (Cornell University)|May 23, 2016

Natural Language Processing Techniques参考文献 18被引用 12

一句话总结

本文提出了一种多智能体、交互式的语言学习框架，其中神经网络智能体通过在多模态环境中进行合作性指代游戏，共同进化通信协议。从一无所知的状态开始，智能体在共享的视觉和交际任务中发展出与之相关的语言，实现了成功的通信，但初步结果表明存在演变为非自然、独特的通信代码的风险，这些代码与人类语言不一致。

ABSTRACT

We propose an interactive multimodal framework for language learning. Instead of being passively exposed to large amounts of natural text, our learners (implemented as feed-forward neural networks) engage in cooperative referential games starting from a tabula rasa setup, and thus develop their own language from the need to communicate in order to succeed at the game. Preliminary experiments provide promising results, but also suggest that it is important to ensure that agents trained in this way do not develop an adhoc communication code only effective for the game they are playing

研究动机与目标

• 开发一种以互动性、交际性互动为核心、而非被动统计学习的语言学习框架。
• 探究智能体是否能通过在多模态环境中进行合作性指代游戏，自我组织出有效且有语境基础的通信协议。
• 解决智能体可能演化出临时性、非自然主义的通信代码，与人类语言不一致的风险。
• 将互动性、基于游戏的学习与被动的统计预训练相结合，以使语言与自然语言模式相契合。

提出的方法

• 智能体参与指代游戏，其中一名智能体使用符号化话语描述目标对象，另一名智能体必须从一组可见对象中识别出正确的指代对象。
• 智能体从一无所知的状态开始训练，不依赖任何先前的语言或语义知识。
• 通过基于正确指代识别的奖励机制强化通信成功，从而推动共享意义的出现。
• 该框架使用多模态输入（视觉和语言）将语言与感知情境相联系。
• 该方法结合了互动性游戏化学习与大规模静态数据的预训练（例如语言建模、图像检索），以改善语言与自然语言的契合度。
• 评估使用指代一致性度量（RI）和诱导属性的余弦相似度，以评估语义连贯性与自然语言的一致性。

实验结果

研究问题

• RQ1 智能体是否能在无先前语言知识的前提下，通过互动性指代游戏成功发展出有效且合作性的通信协议？
• RQ2 所出现的通信协议在多大程度上与自然语言语义相似或偏离？
• RQ3 如何确保自组织通信保持与自然语言模式一致，而非漂移至独特代码？
• RQ4 在静态大规模数据上进行预训练在将互动通信与自然语言相契合方面起到什么作用？

主要发现

• 初步实验表明，智能体能够通过合作性指代游戏成功学习通信，在识别指代对象方面达到高成功率。
• 然而，所出现的通信协议往往与自然语言不一致，存在发展出人类无法理解的临时性代码的风险。
• 指代一致性度量（RI）显示，当使用100个属性时，ReferIt的RI值为0.0，Objects和Shapes的RI值为0.03–0.05，表明属性使用存在一定程度的不一致。
• 当真实属性（gold attributes）被投影到诱导属性向量空间后，余弦相似度矩阵显示出按类别排序时的聚类现象，表明诱导属性反映了语义相似性。
• 相似度矩阵中随机排序下缺乏结构，证实了观察到的聚类具有意义，而非偶然。
• 结果支持如下假设：将互动学习与被动统计预训练（例如语言建模、图像检索）相结合，对于使通信与自然语言相契合至关重要。