[论文解读] Unsupervised Context-Sensitive Spelling Correction of English and Dutch Clinical Free-Text with Word and Character N-Gram Embeddings

Pieter Fivez, Simon Šuster+1 more|arXiv (Cornell University)|Jan 1, 2017

Natural Language Processing Techniques被引用 2

一句话总结

本文提出了一种无需平行标准训练数据的无监督、上下文敏感拼写纠正方法，适用于英语和荷兰语临床自由文本，利用词和字符n-gram嵌入表示。通过加权余弦相似度对拼写错误候选进行排序，该方法在MIMIC-III（英语）上优于现成工具，在荷兰语临床记录上达到最先进性能，尽管频率偏差缓解仅在英语中通过实证确认。

ABSTRACT

We present an unsupervised context-sensitive spelling correction method for clinical free-text that uses word and character n-gram embeddings. Our method generates misspelling replacement candidates and ranks them according to their semantic fit, by calculating a weighted cosine similarity between the vectorized representation of a candidate and the misspelling context. To tune the parameters of this model, we generate self-induced spelling error corpora. We perform our experiments for two languages. For English, we greatly outperform off-the-shelf spelling correction tools on a manually annotated MIMIC-III test set, and counter the frequency bias of a noisy channel model, showing that neural embeddings can be successfully exploited to improve upon the state-of-the-art. For Dutch, we also outperform an off-the-shelf spelling correction tool on manually annotated clinical records from the Antwerp University Hospital, but can offer no empirical evidence that our method counters the frequency bias of a noisy channel model in this case as well. However, both our context-sensitive model and our implementation of the noisy channel model obtain high scores on the test set, establishing a state-of-the-art for Dutch clinical spelling correction with the noisy channel model.

研究动机与目标

• 解决临床自由文本中的拼写错误问题，此类错误会妨碍临床NLP任务。
• 开发一种不依赖平行标准训练数据的上下文敏感拼写纠正方法。
• 克服拼写纠正中常见的噪声通道模型的频率偏差问题。
• 将最先进拼写纠正性能扩展至荷兰语临床文本，该语言在此领域属于低资源语言。
• 证明神经网络词和字符n-gram嵌入在建模语义上下文以用于纠正方面的有效性。

提出的方法

• 生成自诱导拼写错误语料库，以在无需标准错误标注的情况下调整模型超参数。
• 使用词和字符n-gram嵌入表示拼写错误及其周围上下文。
• 通过上下文向量与候选纠正向量之间的加权余弦相似度计算来对替换项进行排序。
• 应用上下文敏感的评分机制，优先选择语义上合理的纠正结果而非基于频率的结果。
• 以无监督方式训练和评估模型，仅依赖单语临床文本。
• 实现一个基线噪声通道模型用于对比，采用相同的评估设置。

实验结果

研究问题

• RQ1 词和字符n-gram嵌入是否能在无平行训练数据的情况下有效提升临床文本中上下文敏感的拼写纠正效果？
• RQ2 所提出的方法是否能减少传统噪声通道模型中观察到的频率偏差？
• RQ3 该方法在低资源临床语言环境（如荷兰语）中的泛化能力如何？
• RQ4 与现成拼写纠正工具相比，该模型在人工标注的临床数据集上的表现如何？
• RQ5 该模型是否能在英语和荷兰语临床拼写纠正任务中均达到最先进性能？

主要发现

• 所提方法在人工标注的MIMIC-III英语测试集上显著优于现成拼写纠正工具。
• 该模型在英语中成功缓解了噪声通道模型的频率偏差，证明了语义上下文建模的优势。
• 在荷兰语中，该模型优于现成工具，在安特卫普大学医院数据集上建立了新的最先进性能。
• 尽管性能表现强劲，但未发现该方法在荷兰语设置中缓解频率偏差的实证证据。
• 上下文敏感模型和噪声通道模型在荷兰语测试集上均取得了高分，表明基线性能较强。
• 使用自诱导错误语料库可在缺乏标准错误标注的情况下实现有效的超参数调优。