[论文解读] Which one is the dax? Achieving mutual exclusivity with neural networks

Kristina Gulordava, Thomas Brochhagen+1 more|arXiv (Cornell University)|Apr 8, 2020

Child and Animal Learning Development参考文献 37被引用 4

一句话总结

本研究通过在包含干扰项的跨情境学习模型中测试，探究神经网络是否能表现出互斥性——即对不熟悉指代物偏好使用新词。研究发现，学习与指代物选择中的约束条件，以及词语之间的竞争，显著提升了在新词-指代物配对任务中的表现，表明在结构化条件下，神经模型可以模拟这种认知偏见。

ABSTRACT

Learning words is a challenge for children and neural networks alike. However, what they struggle with can differ. When prompted by novel words, children have been shown to tend to associate them with unfamiliar referents. This has been taken to reflect a propensity toward mutual exclusivity. In this study, we investigate whether and under which circumstances neural models can exhibit analogous behavior. To this end, we evaluate cross-situational neural models on novel items with distractors, contrasting the interaction between different word learning and referent selection strategies. We find that, as long as they bring about competition between words, constraints in both learning and referent selection can improve success in tasks with novel words and referents. For neural network research, our findings clarify the role of available options for enhanced performance in tasks where mutual exclusivity is advantageous. For cognitive research, they highlight latent interactions between word learning, referent selection mechanisms, and the structure of stimuli.

研究动机与目标

• 检验神经网络是否能复现儿童在词汇学习中的互斥性偏见。
• 探究词汇学习与指代物选择中的约束如何影响新词-指代物配对任务的表现。
• 阐明词语之间竞争在提升神经模型学习成功率中的作用。
• 通过分析刺激结构与学习机制，弥合认知科学与神经网络研究之间的洞见。

提出的方法

• 在包含新项目与干扰项的多个词-指代物配对上训练跨情境学习模型。
• 在不同词汇学习与指代物选择约束条件下评估模型表现。
• 通过呈现包括熟悉与新词在内的多个候选指代物，诱导词语之间的竞争。
• 通过将新词正确分配给新指代物的准确率来衡量性能。
• 通过对比有约束与无约束的模型，隔离其对互斥性行为的影响。
• 操纵刺激结构，以评估指代物熟悉度与词汇新颖性对学习结果的影响。

实验结果

研究问题

• RQ1 神经网络是否能像儿童一样在词汇学习中表现出互斥性？
• RQ2 词语之间的竞争如何影响神经模型中互斥性的出现？
• RQ3 词汇学习与指代物选择中的约束在提升新词任务表现中起什么作用？
• RQ4 刺激结构如何影响神经网络中互斥性的可能性？

主要发现

• 当存在词语之间的竞争时，神经网络会表现出互斥性，倾向于为新词选择新指代物。
• 词汇学习与指代物选择中的约束显著提升了涉及新词与新指代物任务的表现。
• 干扰项的存在提升了学习成功率，表明竞争是提升表现的关键驱动因素。
• 刺激的结构特征（如熟悉与新指代物的混合）在实现类似互斥性的行为中起着关键作用。
• 当学习与选择机制均受约束时，神经模型在新词学习中的准确率更高，表明存在协同效应。
• 结果表明，互斥性并非固有属性，而是学习机制与刺激设计相互作用的产物。