[论文解读] Spelling Correction as a Foreign Language

Yingbo Zhou, Utkarsh Porwal+1 more|arXiv (Cornell University)|May 21, 2017

Topic Modeling参考文献 12被引用 6

一句话总结

本文将拼写纠错重新表述为一种神经机器翻译任务，采用编码器-解码器框架与双向LSTM，将拼错的查询视为‘外语’输入。端到端模型在内部电商数据集上实现了具有竞争力的性能（62.5%准确率），无需特征工程，优于先前方法，同时通过用统一模型替代独立的语言模型和错误模型，简化了处理流程。

ABSTRACT

In this paper, we reformulated the spell correction problem as a machine translation task under the encoder-decoder framework. This reformulation enabled us to use a single model for solving the problem that is traditionally formulated as learning a language model and an error model. This model employs multi-layer recurrent neural networks as an encoder and a decoder. We demonstrate the effectiveness of this model using an internal dataset, where the training data is automatically obtained from user logs. The model offers competitive performance as compared to the state of the art methods but does not require any feature engineering nor hand tuning between models.

研究动机与目标

• 解决传统噪声信道模型在拼写纠错中的局限性，这些模型需要独立的语言模型和错误模型，且对错误模型的不准确性敏感。
• 通过将拼写纠错统一为单一端到端深度学习框架，消除对手动特征工程和超参数调优的需求。
• 证明序列到序列模型结合注意力机制可直接从用户日志数据中有效学习条件概率 P(x| x̃)。
• 在从用户搜索会话日志中收集的大规模真实世界电商拼写纠错数据集上评估该模型。

提出的方法

• 将拼写纠错重新表述为序列到序列学习问题，将拼错文本视为神经机器翻译设置中的‘源’，正确文本视为‘目标’。
• 使用双向LSTM编码器处理输入字符或BPE编码的子词，生成上下文相关的隐藏状态。
• 采用注意力增强的LSTM解码器，动态关注编码器的相关状态，逐个生成纠正后的输出标记。
• 使用梯度下降法端到端训练整个模型，以最大化给定拼错输入下正确输出的可能性。
• 推理时使用束搜索（beam search）生成最可能的纠正序列。
• 使用BPE分词技术，通过捕捉子词语义、减少序列长度并提升泛化能力，从而提高性能。

实验结果

研究问题

• RQ1 单一端到端神经序列到序列模型是否能在无需特征工程的情况下，优于传统的两阶段噪声信道模型？
• RQ2 输入表示方式的选择（字符 vs. BPE子词）对拼写纠错任务的模型性能有何影响？
• RQ3 在多大程度上可从搜索会话日志中自动挖掘高质量、大规模的训练数据用于拼写纠错？
• RQ4 在该场景下，基于注意力的解码是否相比标准自回归解码能提升纠错准确率？
• RQ5 该模型对真实世界电商搜索查询中多样且嘈杂的拼写错误具有多强的鲁棒性？

主要发现

• 在人工评估的测试集上，模型达到了62.5%的准确率，优于Hasan等人（2015）提出的最先进方法（62.0%）。
• 基于BPE的编码器和解码器（W-2-W RNN）表现最佳，表明子词单元有助于建模复杂的拼写变异。
• 基于字符的解码器（C-2-C）达到了55.1%的准确率，表明即使在低层次表示下，端到端训练也能实现有效性能。
• 尽管无需任何特征工程或手动调优，模型性能仍具竞争力，凸显了端到端方法的鲁棒性。
• 利用用户会话日志可自动收集7000万对训练数据，表明大规模无监督数据收集在拼写纠错中具有可行性。
• 注意力机制使模型能够动态聚焦于输入的相关部分，从而在复杂情况下提升纠正质量。