[论文解读] The optimality of attaching unlinked labels to unlinked meanings

Ramon Ferrer‐i‐Cancho|arXiv (Cornell University)|Oct 22, 2013

Advanced Text Analysis Techniques参考文献 24被引用 45

一句话总结

本文首次以数学方式证明，儿童倾向于将新词与全新意义关联（而非已知意义）的偏见，在信息论上是最优的。通过信息论框架，本文表明：最大化词与意义之间的互信息，自然导致这一偏见，且与词汇习得中的对比原则和互斥性原则一致。

ABSTRACT

Vocabulary learning by children can be characterized by many biases. When encountering a new word, children as well as adults, are biased towards assuming that it means something totally different from the words that they already know. To the best of our knowledge, the 1st mathematical proof of the optimality of this bias is presented here. First, it is shown that this bias is a particular case of the maximization of mutual information between words and meanings. Second, the optimality is proven within a more general information theoretic framework where mutual information maximization competes with other information theoretic principles. The bias is a prediction from modern information theory. The relationship between information theoretic principles and the principles of contrast and mutual exclusivity is also shown.

研究动机与目标

• 将词汇习得中将新词视为指代未知意义的认知偏见进行数学形式化。
• 证明该偏见是最大化词与意义之间互信息的自然结果。
• 在包含竞争性原则的更广泛信息论框架内，确立该偏见的最优性。
• 通过信息论将词汇学习偏见与对比和互斥性等既定原则联系起来。
• 为将未关联标签分配给未关联意义的策略提供形式化依据，证明其在词汇学习中是理性和最优的。

提出的方法

• 将词汇学习形式化为词与意义之间的概率分配问题。
• 使用互信息作为目标函数来建模学习过程。
• 引入一个通用的信息论框架，其中互信息与其他原则（如熵最小化）竞争。
• 在该框架下推导出最优标记策略，证明将新词分配给新意义可最大化互信息。
• 利用信息论不等式和优化技术，证明未关联分配是最优的。
• 通过形式等价性，将推导出的最优策略与对比和互斥性等心理学原则联系起来。

实验结果

研究问题

• RQ1 将新词与未知意义关联的认知偏见在数学上是否最优？
• RQ2 互信息最大化如何导致对未关联词义对的偏好？
• RQ3 词汇学习中的互斥性原则能否从信息论原则中推导出来？
• RQ4 在信息论框架下，对比在词汇学习中起什么作用？
• RQ5 最大化互信息是否会导致在词汇习得中更偏好新意义而非已知意义？

主要发现

• 在互信息最大化条件下，将新词分配给新意义的偏见在数学上是最优的。
• 词义分配的最优策略是将未关联的标签与未关联的意义配对，从而最小化歧义。
• 该最优策略可自然地从信息论原则中推导出，无需额外假设。
• 词汇学习中的互斥性原则在形式上等价于最大化词与意义之间的互信息。
• 该模型表明，词汇学习中的对比是信息论优化的自然结果。
• 结果对模型中的小误差具有鲁棒性，且在最终版本中通过修正提升了清晰度和正确性。