[论文解读] Statistical Learning for OCR Text Correction

Jie Mei, Aminul Islam+3 more|arXiv (Cornell University)|Nov 21, 2016

Handwritten Text Recognition Techniques参考文献 20被引用 14

一句话总结

本文提出了一种用于OCR文本纠错的统计学习模型，通过基于Damerau-Levenshtein距离的词汇搜索，将候选建议扩展至OCR输出之外，并将OCR特定特征（如编辑距离、上下文相似度、词汇特征）整合到回归框架中。该模型在top-1建议下的纠错率达到61.5%，在top-3建议下达到71.5%，接近78%的理论上限。

ABSTRACT

The accuracy of Optical Character Recognition (OCR) is crucial to the success of subsequent applications used in text analyzing pipeline. Recent models of OCR post-processing significantly improve the quality of OCR-generated text, but are still prone to suggest correction candidates from limited observations while insufficiently accounting for the characteristics of OCR errors. In this paper, we show how to enlarge candidate suggestion space by using external corpus and integrating OCR-specific features in a regression approach to correct OCR-generated errors. The evaluation results show that our model can correct 61.5% of the OCR-errors (considering the top 1 suggestion) and 71.5% of the OCR-errors (considering the top 3 suggestions), for cases where the theoretical correction upper-bound is 78%.

研究动机与目标

• 解决现有OCR后处理模型将候选建议限制在OCR引擎输出范围内的局限性，避免遗漏未被任何OCR识别的错误的修正。
• 克服基于n-gram频率模型的偏差，该偏差会低估低频但正确的修正结果。
• 通过将多种OCR特定特征整合到统一的回归框架中，提升OCR错误纠正的准确性。
• 提供一个包含真实OCR错误的基准数据集，以支持后处理模型的可复现评估。
• 证明结合多种特征和回归模型可显著提升纠错性能，优于基线方法。

提出的方法

• 通过生成每个OCR错误在Damerau-Levenshtein编辑距离δ内的所有单词，扩展候选空间，从而发现OCR引擎遗漏的修正。
• 整合OCR特定特征，包括编辑距离、词汇相似度、语言模型得分、上下文词流行度以及宽松的上下文匹配。
• 使用回归模型（如随机森林、AdaBoost.R2）根据特征得分对候选修正进行排序，而非依赖启发式或频率选择方法。
• 在来自Biodiversity Heritage Library中一本图书的真值OCR错误及其预期修正数据集上训练回归模型。
• 通过特征消融和可视化分析，评估各特征对定位正确修正的贡献及其独特性。
• 使用精确率@k（P@k）指标在多个错误类别（有界、无界、真正例、假正例）上评估模型性能。

实验结果

研究问题

• RQ1 将候选建议空间扩展至OCR引擎输出之外，能否提升OCR错误纠正的准确性？
• RQ2 与仅使用n-gram频率相比，OCR特定特征（如编辑距离、上下文相似度、词汇特征）在多大程度上提升了纠正性能？
• RQ3 基于回归的排序模型在从大量候选集中选择正确修正方面，相较于启发式或频率方法有多高效？
• RQ4 各特征在定位正确修正中的贡献如何？它们在不同错误类型中的表现有何差异？
• RQ5 统计学习模型在多大程度上能接近OCR错误纠正的理论上限？

主要发现

• 所提模型在正确答案位于top-1建议中时，纠错率达到61.5%；在考虑top-3建议时，纠错率达到71.5%，接近78%的理论上限。
• 对于25.9%的未纠正错误，正确词汇出现在前三个建议中，表明候选覆盖能力强大。
• 通过结合多种特征，模型性能显著提升，其中基于上下文的特征对有界错误尤为有效，而编辑距离/词汇特征对假正例错误更有效。
• 集成回归模型（如随机森林和AdaBoost.R2）优于单一模型（如SVR和MLP），表现出更强的鲁棒性和更高的精确率@k。
• 宽松上下文流行度特征在覆盖范围上优于精确上下文流行度，且基于上下文的特征能定位其他特征遗漏的修正。
• 当使用所有特征时，模型在前10个候选中识别出78.0%的所有修正，表明整体候选空间覆盖能力极强。