[论文解读] Neural Network Translation Models for Grammatical Error Correction

Shamil Chollampatt, Kaveh Taghipour+1 more|arXiv (Cornell University)|Jun 1, 2016

Natural Language Processing Techniques参考文献 14被引用 39

一句话总结

本文通过整合两种神经网络模型——神经网络全局词典模型（NNGLM）和神经网络联合模型（NNJM），提出增强基于短语的统计机器翻译（SMT）在语法错误修正（GEC）任务中的性能。这些模型通过连续词表示和非线性映射提升性能，在CoNLL 2014测试集上实现了41.75的F₀.₅得分，超越了先前基于SMT和神经机器翻译的系统，达到最先进水平。

ABSTRACT

Phrase-based statistical machine translation (SMT) systems have previously been used for the task of grammatical error correction (GEC) to achieve state-of-the-art accuracy. The superiority of SMT systems comes from their ability to learn text transformations from erroneous to corrected text, without explicitly modeling error types. However, phrase-based SMT systems suffer from limitations of discrete word representation, linear mapping, and lack of global context. In this paper, we address these limitations by using two different yet complementary neural network models, namely a neural network global lexicon model and a neural network joint model. These neural networks can generalize better by using continuous space representation of words and learn non-linear mappings. Moreover, they can leverage contextual information from the source sentence more effectively. By adding these two components, we achieve statistically significant improvement in accuracy for grammatical error correction over a state-of-the-art GEC system.

研究动机与目标

• 解决基于短语的SMT在GEC任务中因离散词表示和缺乏全局上下文而带来的局限性。
• 通过引入词与短语的连续空间表示，提升泛化能力与修正准确率。
• 探究神经网络全局词典模型与联合模型在增强基于SMT的GEC系统中的有效性。
• 在不依赖额外训练数据的前提下，实现在CoNLL 2014 GEC基准上的最先进性能。

提出的方法

• 将基于短语的SMT框架适配为将GEC视为从'错误'英语到'正确'英语的翻译任务。
• 集成神经网络全局词典模型（NNGLM），利用完整句子上下文以提升修正中的词选择质量。
• 引入神经网络联合模型（NNJM），学习源句与目标句之间非线性、上下文敏感的映射关系。
• 采用对数线性组合特征，包括标准SMT翻译模型与语言模型，并通过神经组件增强。
• 在并行的错误-修正句子对上训练神经模型，以学习连续向量表示与上下文依赖关系。
• 将两种神经组件联合应用于基线SMT系统，通过上下文建模与非线性映射提升流畅性与准确性。

实验结果

研究问题

• RQ1 基于神经网络的模型能否提升基于短语的SMT在语法错误修正任务中的性能？
• RQ2 与传统离散SMT模型相比，连续空间表示与非线性映射在错误修正中如何提升性能？
• RQ3 NNGLM与NNJM在纠正多种错误类型（包括搭配错误与选词错误）方面，其互补性体现在何处？
• RQ4 在不使用额外训练数据的情况下，神经增强的SMT系统能否实现最先进性能？

主要发现

• 所提系统在CoNLL 2014测试集上取得41.75的F₀.₅得分，显著优于此前最先进系统（F₀.₅ = 39.90）。
• NNGLM与NNJM的联合集成使F₀.₅相比基线SMT系统提升了1.17分。
• NNGLM通过利用完整句子上下文，提升了选词与搭配错误的修正效果；NNJM则通过非线性映射增强了输出流畅性。
• 尽管未使用更大规模训练数据，该系统仍比Yuan与Briscoe（2016）的系统高出1.85 F₀.₅分，后者使用了显著更多的训练数据。
• 与标准SMT及语言模型相比，神经模型在泛化能力与上下文建模方面表现更优。
• 在拼写错误修正方面存在局限，主要由于UNK标记处理方式，导致罕见或拼写错误的词未能如基线系统般有效修正。