[论文解读] What Do Recurrent Neural Network Grammars Learn About Syntax?

Adhiguna Kuncoro, Miguel Ballesteros+4 more|arXiv (Cornell University)|Nov 17, 2016

Natural Language Processing Techniques参考文献 33被引用 11

一句话总结

本文通过消融模型组件并引入门控注意力机制（GA-RNNG）以提升可解释性，研究了循环神经网络语法（RNNG）从数据中学到的句法知识。研究发现，组合函数对性能至关重要，句法成分中的核心词在短语表征中起核心作用，而非终结符标签的贡献微乎其微——这支持了中心词结构理论，并表明RNNG无需集成即可实现最先进水平的依存句法分析（F1值达93.6）。

ABSTRACT

Recurrent neural network grammars (RNNG) are a recently proposed probabilistic generative modeling family for natural language. They show state-of-the-art language modeling and parsing performance. We investigate what information they learn, from a linguistic perspective, through various ablations to the model and the data, and by augmenting the model with an attention mechanism (GA-RNNG) to enable closer inspection. We find that explicit modeling of composition is crucial for achieving the best performance. Through the attention mechanism, we find that headedness plays a central role in phrasal representation (with the model's latent attention largely agreeing with predictions made by hand-crafted head rules, albeit with some important differences). By training grammars without nonterminal labels, we find that phrasal representations depend minimally on nonterminals, providing support for the endocentricity hypothesis.

研究动机与目标

• 探究循环神经网络语法（RNNG）从数据中学习的句法知识，特别是短语结构与组合机制的相关性。
• 通过模型消融与可解释性工具，检验关于句法表征的语言学假说，如中心词结构与核心词主导性。
• 通过引入门控注意力机制（GA-RNNG），提升RNNG的可解释性，以可视化各成分如何贡献于短语表征。
• 评估非终结符类别标签在短语表征中的作用，判断其是否提供有意义的句法信息。
• 通过模型分析与优化，在监督式短语结构依存句法分析中实现最先进性能。

提出的方法

• 消融RNNG的组合函数，评估其在句法分析与语言建模性能中的必要性。
• 在RNNG的组合函数中引入门控注意力机制（GA-RNNG），使注意力权重可分布在多个成分上。
• 利用GA-RNNG的注意力向量，比较学习到的核心词主导性与人工设计的核心词规则，并分析多核心词表征。
• 训练不带非终结符标签的RNNG变体，评估短语表征是否依赖于类别标签。
• 使用t-SNE可视化学习到的短语表征，分析句法类别（如PP和SBAR）的聚类模式。
• 在宾夕法尼亚树库（PTB）上训练与评估模型，报告F1、UAS与LAS得分，用于监督式句法分析与依存句法分析。

实验结果

研究问题

• RQ1 RNNG中组合函数在实现高句法分析与语言建模性能方面有多重要？
• RQ2 RNNG在多大程度上学习到了核心词主导性？其注意力机制在多大程度上与语言学核心词规则一致？
• RQ3 非终结符类别标签是否在短语表征中提供了有意义的句法信息，还是基本冗余？
• RQ4 RNNG能否仅通过括号结构（bracketing）自发发现NP、VP与PP等句法类别，而无需显式标签监督？
• RQ5 句法成分的表征如何聚类？它们捕捉了哪些语义差异？

主要发现

• 组合函数对RNNG性能至关重要；移除该函数会显著降低句法分析准确率，证实其在建模句法结构中的核心作用。
• GA-RNNG的注意力机制与语言学核心词规则高度一致，能高精度识别短语的核心词，尽管注意力通常分布在多个成分上。
• 短语表征对非终结符标签的依赖极小，支持中心词结构假说，即句法结构主要由核心词决定。
• 不带非终结符标签的模型仍能取得优异性能，表明括号结构与组合机制已足够实现有效的句法表征。
• GA-RNNG学习到了有意义的语义区分，例如根据'because'与'of'等词将PP与SBAR聚类，反映出因果与领属等语义角色。
• 单一RNNG变体（无需集成）在宾夕法尼亚树库上实现了最先进水平的监督式句法分析（F1值93.6）与高依存句法分析得分（UAS 95.8，LAS 94.6），证明其在极简架构下仍具备强大性能。