[论文解读] Neural Language Models as Psycholinguistic Subjects: Representations of Syntactic State

Richard Futrell, Ethan Wilcox+4 more|arXiv (Cornell University)|Mar 8, 2019

Natural Language Processing Techniques参考文献 44被引用 11

一句话总结

本文通过心理语言学方法探究神经语言模型是否以人类类似的方式表征渐进式句法状态，测试了四种模型在具有句法歧义的人工句子上的表现。结果表明，大规模LSTM和RNNG对句法状态及词形变化线索表现出类似人类的敏感性，而小规模LSTM则未能维持稳健的句法状态表征。

ABSTRACT

We deploy the methods of controlled psycholinguistic experimentation to shed light on the extent to which the behavior of neural network language models reflects incremental representations of syntactic state. To do so, we examine model behavior on artificial sentences containing a variety of syntactically complex structures. We test four models: two publicly available LSTM sequence models of English (Jozefowicz et al., 2016; Gulordava et al., 2018) trained on large datasets; an RNNG (Dyer et al., 2016) trained on a small, parsed dataset; and an LSTM trained on the same small corpus as the RNNG. We find evidence that the LSTMs trained on large datasets represent syntactic state over large spans of text in a way that is comparable to the RNNG, while the LSTM trained on the small dataset does not or does so only weakly.

研究动机与目标

• 评估神经语言模型是否以类似于人类心理语言加工的方式表征渐进式句法状态。
• 探究模型是否利用词汇线索（如动词形态和论元结构）来推断句法状态边界的开始与结束。
• 比较具有与不具有显式句法监督（如RNNG）的模型，以及不同规模训练数据的模型，以分离出促成句法状态表征的因素。
• 确定句法状态表征在长文本跨度中是否会退化，或是否保持稳定。
• 评估神经网络是否在句法歧义下表现出类似人类的花园路径效应。

提出的方法

• 使用惊奇度（对数逆概率）作为模型预测置信度的度量，计算公式为 $ S(x_i) = -\log_2 p(x_i|h_{i-1}) $，以量化关键词处的模型行为。
• 采用受控的心理语言学实验，使用人工句子探测句法状态表征，包括主要动词/省略关系从句歧义和NP/Z歧义。
• 测试四种模型：两种大规模LSTM（JRNN、GRNN）、一种RNNG（具有显式句法结构）以及一个在与RNNG相同数据上训练的小规模LSTM。
• 将花园路径效应定义为在消歧动词处，省略与非省略关系从句条件下惊奇度的差异。
• 分析句法结构（省略 vs. 非省略）与动词形式（歧义 vs. 不歧义分词）之间的交互效应，以评估线索整合能力。
• 使用统计建模检验惊奇度的超加性效应，表明模型能够整合多种句法状态线索。

实验结果

研究问题

• RQ1 神经语言模型是否以类似于人类句法加工的方式表征渐进式句法状态？
• RQ2 模型使用哪些文本线索（如动词形态或论元结构）来推断句法状态的起始与终止？
• RQ3 模型能否在复杂长文本中保持句法状态表征，还是会出现退化？
• RQ4 具有显式句法监督的模型（如RNNG）与通用LSTM在句法状态表征方面有何差异？
• RQ5 模型在句法歧义下表现出类似人类花园路径效应的程度如何？

主要发现

• 所有模型均表现出基本的花园路径效应，即当初始动词属于省略关系从句时，消歧动词处的惊奇度上升。
• RNNG表现出最强的花园路径效应（3.6比特），其次为GRNN（3.6比特）、JRNN（2.8比特），而TinyLSTM仅0.3比特，表明小规模LSTM的句法状态表征能力微弱。
• 大规模LSTM和RNNG在歧义动词形式条件下表现出惊奇度的超加性效应，表明其整合了形态学与句法线索，而TinyLSTM未表现出此效应（$ p = 0.45 $）。
• 即使在使用明确的过去分词动词时，除TinyLSTM外所有模型均表现出显著的花园路径效应（$ p < 0.01 $），表明它们将形态线索视为噪声而非决定性依据。
• RNNG和大规模LSTM能够可靠地捕捉从句的完整句法行为，而小规模LSTM则未能做到。
• 表征粗粒度句法结构需要大规模训练数据或显式句法监督，而精细线索整合则需要大规模数据。