[论文解读] Neural Networks for Text Correction and Completion in Keyboard Decoding

Shaona Ghosh, Per Ola Kristensson|arXiv (Cornell University)|Sep 19, 2017

Natural Language Processing Techniques参考文献 28被引用 56

一句话总结

本文翻译内容保留字段，请在此处填写论文标题。

ABSTRACT

Despite the ubiquity of mobile and wearable text messaging applications, the problem of keyboard text decoding is not tackled sufficiently in the light of the enormous success of the deep learning Recurrent Neural Network (RNN) and Convolutional Neural Networks (CNN) for natural language understanding. In particular, considering that the keyboard decoders should operate on devices with memory and processor resource constraints, makes it challenging to deploy industrial scale deep neural network (DNN) models. This paper proposes a sequence-to-sequence neural attention network system for automatic text correction and completion. Given an erroneous sequence, our model encodes character level hidden representations and then decodes the revised sequence thus enabling auto-correction and completion. We achieve this by a combination of character level CNN and gated recurrent unit (GRU) encoder along with and a word level gated recurrent unit (GRU) attention decoder. Unlike traditional language models that learn from billions of words, our corpus size is only 12 million words; an order of magnitude smaller. The memory footprint of our learnt model for inference and prediction is also an order of magnitude smaller than the conventional language model based text decoders. We report baseline performance for neural keyboard decoders in such limited domain. Our models achieve a word level accuracy of $90\%$ and a character error rate CER of $2.4\%$ over the Twitter typo dataset. We present a novel dataset of noisy to corrected mappings by inducing the noise distribution from the Twitter data over the OpenSubtitles 2009 dataset; on which our model predicts with a word level accuracy of $98\%$ and sequence accuracy of $68.9\%$. In our user study, our model achieved an average CER of $2.6\%$ with the state-of-the-art non-neural touch-screen keyboard decoder at CER of $1.6\%$.

研究动机与目标

• 激励在移动键盘上实现设备端、资源高效的文本纠错与完成的需求。
• 提出一个端到端的序列到序列模型，能够同时纠错和完成文本。
• 利用字符级编码器和带注意力的词级解码器来处理噪声并提供语言建模效果。
• 在真实与合成的噪声数据上证明其有效性，同时保持较小的内存占用。

提出的方法

• 提出一个两部分的体系结构：一个字符基的 CNN-GRU 编码器，用于捕捉错误表示；一个词级 GRU 注意力解码器，充当隐式语言模型。
• 在 OpenTypo 上使用联合端到端训练方案，该数据集是 Twitter typos 与 OpenSubtitles-derived 文本的组合，用于建模从噪声到纠正的映射。
• 采用序列到序列框架，输入为带噪声的字符序列，输出为纠正后的词序列，含有从编码器到解码器的基于注意力的上下文。
• 用宽度为 2–4 的 CNN 滤波器对字符进行编码，5 个滤波器，GRU 大小为 256，并输入到大小为 256 的单层词级 GRU 解码器。
• 从编码器的最终状态初始化解码器，并对编码器状态应用注意力以形成生成的上下文向量。
• 使用对词汇表的交叉熵损失进行训练（解码器约 3,000 个词），并采用 Adam 优化。

实验结果

研究问题

• RQ1 在资源受限的设备上，字符级 CNN-GRU 编码器配合词级注意力解码器是否能够联合纠错和完成文本？
• RQ2 在混合噪声数据集上进行端到端训练，是否比传统的拼写检查 + 语言模型基线对真实用户输入具有更好的鲁棒性？
• RQ3 在设备端键盘解码任务中，准确性与模型体积之间的权衡是什么？
• RQ4 与最先进的非神经解码器相比，所提出的模型在真实用户数据和开域噪声文本数据集上的表现如何？

主要发现

• 该模型在 Twitter typo 数据集上达到 90% 的词级准确率和 2.4 的字符错误率(CER)。
• 在一个新颖的 OpenSubtitles-derived OpenTypo 数据集上，模型达到 98% 的词准确率和 0.689 的序列准确率。
• 对 8 名用户的用户研究显示真实输入的 CER 约为 2.6%，与非神经触控解码器的 1.6% 的最新 CER以及物理键盘的 2.1% 相当。
• 与传统的语言模型解码器相比，该模型在内存占用、训练时间和语料规模方面小一个数量级。
• 训练和数据集（包括 OpenTypo 数据）作为开源工具发布用于推断和基准测试。