[论文解读] Robsut Wrod Reocginiton via semi-Character Recurrent Neural Network

Keisuke Sakaguchi, Kevin Duh+2 more|arXiv (Cornell University)|Aug 7, 2016

Reading and Literacy Development参考文献 18被引用 12

一句话总结

该论文提出了一种半字符循环神经网络（scRNN），通过分别对词首、词中和词尾字符进行嵌入，以建模词的结构，实现鲁棒的词识别。该模型在混乱词修正任务中，性能优于传统拼写检查器和CharCNN至少42%，并能复现人类对字母颠倒位置的阅读难度模式，展示了在词识别任务中的认知合理性。

ABSTRACT

Language processing mechanism by humans is generally more robust than computers. The Cmabrigde Uinervtisy (Cambridge University) effect from the psycholinguistics literature has demonstrated such a robust word processing mechanism, where jumbled words (e.g. Cmabrigde / Cambridge) are recognized with little cost. On the other hand, computational models for word recognition (e.g. spelling checkers) perform poorly on data with such noise. Inspired by the findings from the Cmabrigde Uinervtisy effect, we propose a word recognition model based on a semi-character level recurrent neural network (scRNN). In our experiments, we demonstrate that scRNN has significantly more robust performance in word spelling correction (i.e. word recognition) compared to existing spelling checkers and character-based convolutional neural network. Furthermore, we demonstrate that the model is cognitively plausible by replicating a psycholinguistics experiment about human reading difficulty using our model.

研究动机与目标

• 开发一种计算高效且鲁棒的词识别模型，受人类大脑对字母颠倒的抗干扰能力启发，如剑桥大学效应所示。
• 提升在嘈杂文本输入（如拼写错误、插入、删除和内部字母颠倒）上的性能，这些错误常见于社交媒体和OCR输出中。
• 评估该模型是否能复现人类心理语言学的阅读模式，特别是基于字母颠倒位置的词识别难易度差异。
• 证明基于简单RNN架构并采用半字符输入表示的scRNN模型，可在词修正任务中达到最先进性能。

提出的方法

• 该模型使用具有记忆单元的循环神经网络（RNN），具体为长短期记忆网络（LSTM），以序列感知方式处理输入词。
• 输入词被划分为三个子向量：词首（b）、词中（i）和词尾（e），形成半字符表示 xₙ = [bₙ, iₙ, eₙ]ᵀ。
• 通过交叉熵损失和随机梯度下降进行训练，使模型在给定噪声或混乱版本输入时预测正确词。
• 通过改变输入结构创建scRNN的不同变体：END（b 和 i+e）、BEG（b+i 和 e）、ALL（b+i+e），以模拟不同颠倒位置。
• 使用准确率和注视时间相似性等标准指标评估模型性能，并与CharCNN和传统拼写检查器进行比较。
• 通过在不同颠倒条件下训练和测试scRNN变体，并将其错误模式与人类眼动追踪数据进行比较，实现心理语言学模式的复现。

实验结果

研究问题

• RQ1 神经网络模型能否实现与人类对内部字母颠倒的抗干扰能力相当的鲁棒词识别？
• RQ2 字母颠倒位置（词首、词中或词尾）如何影响神经网络模型的词识别难度，且该影响是否与人类阅读行为一致？
• RQ3 scRNN模型在包括插入、删除和置换在内的各种噪声类型下，是否优于CharCNN和传统拼写检查器等现有方法？
• RQ4 scRNN模型在多大程度上复现了已知的心理语言学发现，即词识别难度的差异？

主要发现

• scRNN模型在混乱词修正任务中，性能优于广泛使用的拼写检查器至少42%，在插入和删除噪声下的性能分别提升了3%和14%。
• 该模型仅使用50个隐藏单元（2 MB）即可实现相近性能，表明其在区分10,000个英文词时具有高效率和低资源需求。
• 内部颠倒变体（INT）表现最佳，其次是END、BEG和ALL，其性能顺序与人类阅读难度顺序一致：INT ≤ END < BEG < ALL。
• 统计分析确认END和BEG模型之间存在显著差异（p < 0.01），且END与INT之间差异接近显著（p = 0.07），支持其认知合理性。
• 错误分析显示，所有scRNN变体在处理字谜词和句首大写字母时均存在困难，但错误模式与各变体的结构设计一致。
• 当在不同颠倒条件下测试时，该模型成功复现了人类眼动追踪数据的模式，特别是在注视持续时间和回视率方面。