[论文解读] Neural Language Correction with Character-Based Attention

Ziang Xie, Anand Avati+3 more|arXiv (Cornell University)|Mar 31, 2016

Natural Language Processing Techniques参考文献 26被引用 124

一句话总结

本文提出一个带注意力的字符级编码-解码器用于语言纠错，在CoNLL-2014上达到最先进的结果，并通过数据增强和编辑分类器提升。

ABSTRACT

Natural language correction has the potential to help language learners improve their writing skills. While approaches with separate classifiers for different error types have high precision, they do not flexibly handle errors such as redundancy or non-idiomatic phrasing. On the other hand, word and phrase-based machine translation methods are not designed to cope with orthographic errors, and have recently been outpaced by neural models. Motivated by these issues, we present a neural network-based approach to language correction. The core component of our method is an encoder-decoder recurrent neural network with an attention mechanism. By operating at the character level, the network avoids the problem of out-of-vocabulary words. We illustrate the flexibility of our approach on dataset of noisy, user-generated text collected from an English learner forum. When combined with a language model, our method achieves a state-of-the-art $F_{0.5}$-score on the CoNLL 2014 Shared Task. We further demonstrate that training the network on additional data with synthesized errors can improve performance.

研究动机与目标

• 激发对嘈杂、学习者生成文本的语言纠错的动机，并实现超越固定错误类型分类器的灵活错误处理。
• 提出一个字符级输入/输出且带有注意力机制的神经编码-解码器，用以处理正字法错误和未登录词（OOVs）。
• 在 Lang-8 和 CoNLL 数据集上展示有效性，并探索数据增强与注重精确性的过滤。

提出的方法

• 使用金字塔式的多层双向编码器将输入映射到压缩表示。
• 在编码器和解码器中都以字符级进行操作，配备基于内容的注意力机制。
• 使用带注意力的基于 GRU 的解码器逐字生成字符进行解码。
• 通过束搜索将神经输出与语言模型结合，使用可调权重 lambda。
• 训练编辑分类器以过滤建议的修改并提高精确度，使用与 Levenshtein 对齐的金标准修改。
• 用 ArtOrDet 和 Nn 类型的合成错误来增强训练，以提高召回率。

实验结果

研究问题

• RQ1 带注意力的字符级编码-解码器是否能处理学习者文本中包括拼写错误、罕见词和标点在内的多样化错误？
• RQ2 将语言模型和编辑分类整合是否能在标准基准上提升精确度和整体纠错质量？
• RQ3 用合成错误进行数据增强对语法错误纠错性能有何影响？

主要发现

方法	精确率	召回率	F0.5
AMU	41.62	21.40	35.01
CUUI	41.78	24.88	36.79
CAMB	39.71	30.10	37.33
Ours (no EC)	45.86	26.40	39.97
Ours (+ EC)	49.24	23.77	40.56
Ours (A1)	32.56	14.76	26.23
Ours (A2)	44.04	14.83	31.59
A1 (A2)	50.47	32.29	45.36
A2 (A1)	37.14	45.38	38.54

• 在 Lang-8 测试集上，单独的编码-解码器以及结合语言模型时均取得强劲结果（观察到 BLEU 提升）。
• 在 CoNLL-2014 测试集，包含数据增强和编辑分类等变体的情况下，达到公认的最先进性能，超越机器翻译、语言模型排序以及基于规则的系统。
• 数据增强（合成的 ArtOrDet 和 Nn 错误）使开发集 F0.5 从 31.55 提升到 34.81，特别是对目标错误类型的召回率。
• 在 CoNLL 开发集，最佳系统（含 EC 与数据增强的 ours）F0.5 约为 40.56，ArtOrDet 与 Nn 错误类型的召回率有所提升。