[论文解读] Word learning and the acquisition of syntactic--semantic overhypotheses

Jon Gauthier, Roger Lévy+1 more|arXiv (Cornell University)|May 14, 2018

Language Development and Disorders参考文献 16被引用 5

一句话总结

本文提出了一种计算模型，通过推导句法-语义过度概括（overhypotheses）来联合学习句法与语义——具体而言，即儿童语境中前置形容词往往表示颜色属性，而名词则表示形状。通过将结构化概率推理与增量学习相结合，该模型在数据效率方面显著优于缺乏此类过度概括的基线模型，表明学习抽象的句法-语义规律可提升词汇学习效率。

ABSTRACT

Children learning their first language face multiple problems of induction: how to learn the meanings of words, and how to build meaningful phrases from those words according to syntactic rules. We consider how children might solve these problems efficiently by solving them jointly, via a computational model that learns the syntax and semantics of multi-word utterances in a grounded reference game. We select a well-studied empirical case in which children are aware of patterns linking the syntactic and semantic properties of words --- that the properties picked out by base nouns tend to be related to shape, while prenominal adjectives tend to refer to other properties such as color. We show that children applying such inductive biases are accurately reflecting the statistics of child-directed speech, and that inducing similar biases in our computational model captures children's behavior in a classic adjective learning experiment. Our model incorporating such biases also demonstrates a clear data efficiency in learning, relative to a baseline model that learns without forming syntax-sensitive overhypotheses of word meaning. Thus solving a more complex joint inference problem may make the full problem of language acquisition easier, not harder.

研究动机与目标

• 探究儿童如何利用句法线索（如前置位置）高效学习词汇意义，以推断颜色或形状等语义属性。
• 检验儿童观察到的词汇学习偏见（如将新形容词解释为表示颜色）是否反映了对儿童语境语言统计规律的合理推断。
• 开发一种能够推导句法-语义过度概括以提升词汇学习数据效率的计算模型。
• 证明通过过度概括联合解决句法与语义学习问题可使语言习得更高效，而非更困难。

提出的方法

• 该模型使用增量式、在线贝叶斯推理，从感知基础的参照游戏中学习词汇意义与句法类别。
• 其采用结构化概率框架，追踪条件概率 p(t= color | s= N/N)，其中 s 表示句法结构，t 表示语义类型。
• 通过整合关于儿童语境语言中统计规律的先验信念（如前置形容词倾向于指代颜色），模型学习过度概括。
• 将无过度概括的基线模型与具备过度概括的模型进行对比，以评估数据效率。
• 模型在合成的言语-场景配对数据集上进行训练，句法结构通过依存句法分析自动标注。
• 性能通过在线准确率指标 R 进行评估，该指标在每次学习试验后基于固定测试集计算，并使用自举法生成置信区间。

实验结果

研究问题

• RQ1 儿童语境中新型词汇的句法位置是否反映了可支持儿童观察到的词汇学习偏见的统计规律？
• RQ2 一种能推导句法-语义过度概括的计算模型，能否复现儿童在经典形容词学习实验中的行为？
• RQ3 推导句法-语义过度概括是否相比无此类偏见的模型，能带来更高的词汇学习数据效率？
• RQ4 此类过度概括在增量学习过程中出现得有多快，其对预测准确率有何影响？

主要发现

• 语料分析显示，儿童语境中前置形容词表示颜色属性的可能性显著高于表示形状属性（相对频率：60–80% vs. 10–20%），支持了该过度概括的统计基础。
• 与基线模型相比，该过度概括模型在在线准确率（R）上实现了约 11% 的最大性能差距，证明了其更高的数据效率。
• 模型对过度概括的信念 p(t= color | s= N/N) 从初始的 0.5 迅速增强至近 1.0，仅在前 10 个学习样本内完成，与学习效率的出现时间一致。
• 随着处理数据量的增加，过度概括模型与基线模型之间的性能差距持续扩大，表明该过度概括在后续学习中变得愈发有益。
• 由于过度概括的存在，模型的泛化能力得到增强，使其仅凭句法位置即可对新词汇的意义做出准确预测。
• 结果证实，推导抽象的句法-语义过度概括是一种可行且适应性强的高效语言习得策略。