[论文解读] Syntax-Aware Language Modeling with Recurrent Neural Networks

Duncan A. J. Blythe, Alan Akbik+1 more|arXiv (Cornell University)|Mar 2, 2018

Natural Language Processing Techniques参考文献 19被引用 3

一句话总结

本文提出语法感知语言模型（SALMs），通过在标记前添加语法标签（如词性标注）将句法特征——如词性标签——整合到字符级RNN语言模型中。利用一种称为SYNSIR的顺序蒙特卡洛方法，SALMs能够推断未分词文本的可能句法结构，在保持词级别性能与标准模型相当的同时，显著降低字符级建模中的困惑度。

ABSTRACT

Neural language models (LMs) are typically trained using only lexical features, such as surface forms of words. In this paper, we argue this deprives the LM of crucial syntactic signals that can be detected at high confidence using existing parsers. We present a simple but highly effective approach for training neural LMs using both lexical and syntactic information, and a novel approach for applying such LMs to unparsed text using sequential Monte Carlo sampling. In experiments on a range of corpora and corpus sizes, we show our approach consistently outperforms standard lexical LMs in character-level language modeling; on the other hand, for word-level models the models are on a par with standard language models. These results indicate potential for expanding LMs beyond lexical surface features to higher-level NLP features for character-level models.

研究动机与目标

• 探究显式句法特征是否能提升神经语言模型的性能。
• 解决将句法增强语言模型应用于未分词真实文本的挑战。
• 开发一种方法，使语言模型在推理过程中能够不依赖预分词输入即可推理句法结构。
• 评估句法感知建模对字符级与词级语言建模的影响。
• 证明句法信息可提升低层级语言建模中的泛化能力与数据效率。

提出的方法

• 本文通过将每个句子转换为序列，其中每个标记前缀加上其句法标签（例如，'NOUN-look' 而非 'look'）来引入SALMs。
• 该模型作为标准字符级LSTM语言模型在这些句法标注序列上进行训练，句法标签被视为输入标记的一部分。
• 提出一种新颖的顺序蒙特卡洛推理算法SYNSIR，用于在推理过程中估计未分词文本片段的最可能句法前缀分布。
• SYNSIR根据输入的字符序列在线重采样句法前缀，实现随着输入增长而动态更新句法不确定性。
• 该方法采用基于粒子的方法，估计在给定部分输入下句法前缀的后验分布，从而实现在不确定性下的评分或生成。
• 通过困惑度作为主要指标，在多个语料库和样本规模下对方法进行评估，并与词级和字符级的标准LSTM语言模型进行比较。

实验结果

研究问题

• RQ1 显式句法特征能否提升字符级神经语言模型的性能？
• RQ2 如何将句法感知语言模型应用于推理时无法获取句法结构的未分词文本？
• RQ3 引入句法是否能提升语言建模中的泛化能力或数据效率？
• RQ4 为何句法感知模型在字符级别表现提升，而在词级别未见提升？
• RQ5 模型能否在处理新文本时动态推断并更新句法结构？

主要发现

• 在所有测试语料库和样本规模下，SALMs在字符级建模中相比标准LSTM语言模型显著降低了困惑度。
• 困惑度的改善具有一致性且统计上显著，表明句法信息增强了字符级建模中的泛化能力与数据效率。
• 在词级别，SALMs与标准语言模型性能相当，表明词级模型可能在无显式监督下隐式学习句法模式。
• SYNSIR成功实现实时句法结构推断与更新：例如，随着上下文揭示，模型可从将'display'视为名词转变为视为动词。
• 模型展现出动态句法推理能力，句法前缀的后验概率在新字符被处理时实时更新。
• 结果表明，句法感知建模在低层级语言建模中具有巨大潜力，尤其在数据有限时。