[论文解读] Spelling Error Correction Using a Nested RNN Model and Pseudo Training Data

Hao Li, Yang Wang+3 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 25被引用 25

一句话总结

该论文提出一种嵌套RNN模型，通过端到端方式使用基于语音相似性的伪数据，联合编码英语拼写错误纠正中的正字法和上下文信息。由于CharRNN的序列处理机制，该模型有效捕捉了插入和删除等字符级错误，其性能优于现有系统，包括scRNN和LSTM-Char-CNN。

ABSTRACT

We propose a nested recurrent neural network (nested RNN) model for English spelling error correction and generate pseudo data based on phonetic similarity to train it. The model fuses orthographic information and context as a whole and is trained in an end-to-end fashion. This avoids feature engineering and does not rely on a noisy channel model as in traditional methods. Experiments show that the proposed method is superior to existing systems in correcting spelling errors.

研究动机与目标

• 开发一种独立的神经网络模型用于拼写错误纠正，避免依赖噪声通道模型或特征工程。
• 通过利用语音相似性生成大规模伪训练数据，缓解拼写纠正任务中标注数据稀缺的问题。
• 通过同时建模字符级结构与句子上下文，提升对涉及语音或正字法混淆的真实词汇错误的纠正能力。
• 设计一种对插入和删除错误具有鲁棒性的模型，此类错误对卷积方法构成挑战。

提出的方法

• 该模型采用嵌套架构，利用字符级RNN（CharRNN）从字符序列中编码单词的正字法特征。
• 词级RNN（WordRNN）在上下文中处理编码后的词表示，使用双向GRU捕捉左右文依赖关系。
• 通过在One Billion Word Benchmark语料中应用基于语音的字符替换，利用带有注意力机制的字符级翻译模型生成伪训练数据。
• 使用Adam进行端到端训练，随后在开发集上通过网格搜索优化超参数后使用SGD进行微调。
• CharRNN通过GRU单元顺序计算隐藏状态，最终隐藏状态表示单词的正字法嵌入。
• WordRNN通过双向GRU将这些嵌入与上下文信息结合，实现上下文感知的纠正决策。

实验结果

研究问题

• RQ1 在伪数据上进行训练的神经网络模型是否能在拼写错误纠正任务上超越传统噪声通道模型？
• RQ2 与忽略内部字符顺序的模型相比，融合字符级与词级表示的嵌套RNN架构是否能更有效地提升真实词汇错误的纠正效果？
• RQ3 使用语音相似的字符替换进行数据增强，能在多大程度上提升模型对未见拼写错误的泛化能力？
• RQ4 与卷积建模相比，CharRNN中字符的序列处理在处理插入和删除错误方面表现如何？

主要发现

• 嵌套RNN模型在测试集上取得了最高的F0.5分数，显著优于PyEnchant、scRNN和LSTM-Char-CNN。
• 该模型成功纠正了如'though'→'thought'和'smell'→'small'等真实词汇错误，而scRNN因依赖首尾字符而失败。
• 基于CharRNN的词表示比CharCNN保留了更多上下文与结构信息，因此对插入和删除错误更具鲁棒性。
• 通过语音相似性生成的伪数据有效扩充了训练数据，并使模型能够在无需人工标注纠正的情况下泛化到未见的拼写错误。
• 该模型在各类错误类型上表现稳定，尤其在涉及语音混淆的非词汇错误与真实词汇错误纠正中取得显著提升。
• 消融实验证实，结合双向WordRNN与序列化CharRNN的嵌套架构对于捕捉正字法与上下文线索至关重要。