[论文解读] Vartani Spellcheck -- Automatic Context-Sensitive Spelling Correction of OCR-generated Hindi Text Using BERT and Levenshtein Distance

Aditya Pal, Abhijit Mustafi|arXiv (Cornell University)|Dec 14, 2020

Natural Language Processing Techniques参考文献 8被引用 5

一句话总结

Vartani Spellcheck 提出了一种基于 BERT 嵌入和 Levenshtein 距离的上下文感知拼写校正系统，用于 OCR 生成的印地语文本。通过结合查找词典、命名实体识别和上下文嵌入，该系统在 Tesseract-OCR 处理的《罗摩衍那》文本上实现了 81% 的准确率，显著优于以往的上下文无关方法。

ABSTRACT

Traditional Optical Character Recognition (OCR) systems that generate text of highly inflectional Indic languages like Hindi tend to suffer from poor accuracy due to a wide alphabet set, compound characters and difficulty in segmenting characters in a word. Automatic spelling error detection and context-sensitive error correction can be used to improve accuracy by post-processing the text generated by these OCR systems. A majority of previously developed language models for error correction of Hindi spelling have been context-free. In this paper, we present Vartani Spellcheck - a context-sensitive approach for spelling correction of Hindi text using a state-of-the-art transformer - BERT in conjunction with the Levenshtein distance algorithm, popularly known as Edit Distance. We use a lookup dictionary and context-based named entity recognition (NER) for detection of possible spelling errors in the text. Our proposed technique has been tested on a large corpus of text generated by the widely used Tesseract OCR on the Hindi epic Ramayana. With an accuracy of 81%, the results show a significant improvement over some of the previously established context-sensitive error correction mechanisms for Hindi. We also explain how Vartani Spellcheck may be used for on-the-fly autocorrect suggestion during continuous typing in a text editor environment.

研究动机与目标

• 为解决印地语等高度屈折的印度语言在 OCR 输出中准确率低下的问题，这些问题主要源于复杂脚本和字符分割困难。
• 开发一种上下文感知的拼写校正系统，以超越传统上下文无关模型，提升 OCR 后处理文本的质量。
• 将最先进的 NLP 技术——特别是 BERT 和 Levenshtein 距离——整合到印地语的实用校正流程中。
• 通过利用所提出的校正框架，实现实时文本编辑器中的自动更正建议。
• 在由 Tesseract OCR 处理的大规模真实世界印地语文本语料库（《罗摩衍那》）上验证该系统。

提出的方法

• 该系统使用查找词典来识别 OCR 生成的印地语文本中的潜在拼写错误。
• 应用命名实体识别（NER）以检测可能被误拼的上下文相关术语。
• 使用 BERT 嵌入来捕捉词语的上下文表示，从而实现上下文感知的校正决策。
• 计算候选校正与原始词语之间的 Levenshtein 距离（编辑距离），以对合理校正进行排序。
• 最终校正基于与词典或 NER 识别术语匹配的 BERT 嵌入候选中编辑距离最低者进行选择。
• 该流程设计用于支持实时文本编辑环境中即时自动更正。

实验结果

研究问题

• RQ1 与上下文无关的方法相比，上下文感知的拼写校正系统是否能显著提高 OCR 生成的印地语文本的准确率？
• RQ2 将 BERT 嵌入与 Levenshtein 距离结合，对检测和校正 OCR 输出中的印地语拼写错误有多大的有效性？
• RQ3 命名实体识别和词典查找在低资源、形态丰富的语言（如印地语）中，能在多大程度上提升错误检测能力？
• RQ4 所提出的系统能否适应文本编辑器中的实时交互式自动更正？
• RQ5 该系统在大规模真实世界印地语文本语料库（如《罗摩衍那》）上的表现如何？

主要发现

• 所提出的 Vartani Spellcheck 系统在 Tesseract-OCR 处理的《罗摩衍那》大规模印地语文本语料上实现了 81% 的准确率。
• 采用 BERT 和 Levenshtein 距离的上下文感知方法在印地语 OCR 输出中，优于以往建立的上下文无关错误校正机制。
• 命名实体识别与词典查找的整合显著提升了对形态复杂文本中潜在拼写错误的检测能力。
• 该系统在实时应用中具有可行性，支持在连续输入过程中实现即时自动更正建议。
• 结果表明，在低资源、高屈折性环境下，将上下文嵌入与编辑距离结合，可获得优于单一方法的校正质量。
• 该方法在大规模领域特定语料上表现出鲁棒性，表明其在印度语言 NLP 领域具有更广泛的应用潜力。