[论文解读] OCR Error Correction Using Character Correction and Feature-Based Word Classification

Ido Kissos, Nachum Dershowitz|arXiv (Cornell University)|Apr 21, 2016

Handwritten Text Recognition Techniques参考文献 6被引用 9

一句话总结

本文提出了一种后OCR校正系统，结合使用加权混淆矩阵的字符级校正与基于特征的词分类，以提升文本准确性。在阿拉伯语文本上的评估显示，该方法显著减少了分割错误和识别错误，通过整合浅层语言模型与学习到的分类器，相较于基线OCR输出实现了显著改进。

ABSTRACT

This paper explores the use of a learned classifier for post-OCR text correction. Experiments with the Arabic language show that this approach, which integrates a weighted confusion matrix and a shallow language model, improves the vast majority of segmentation and recognition errors, the most frequent types of error on our dataset.

研究动机与目标

• 解决历史文献和低质量文档扫描中OCR错误的持续挑战，特别是分割错误和识别错误。
• 通过结合字符级校正与词级分类，提升后OCR文本质量。
• 开发一种混合方法，利用语言特征与错误模式以提高校正准确性。
• 在阿拉伯文上评估该方法，该语言具有复杂的书写系统且OCR流程中错误率较高。
• 证明将浅层语言模型与混淆矩阵结合用于错误校正的有效性。

提出的方法

• 应用加权混淆矩阵，基于观测到的OCR错误建模字符级替换概率。
• 为OCR输出中的每个词提取语言学与结构特征（例如，词形、频率、词性可能性）。
• 利用这些特征训练学习分类器，以从候选校正中预测最可能的正确词。
• 整合浅层语言模型，基于n-gram概率对词候选进行评分，提升上下文准确性。
• 使用加权融合策略结合字符级校正与词级分类。
• 采用混合校正流水线：首先使用混淆矩阵校正单个字符，然后利用分类器与语言模型对整个词进行精炼。

实验结果

研究问题

• RQ1 当与混淆矩阵和语言模型结合时，学习分类器是否能有效校正OCR错误？
• RQ2 字符级校正与词级分类的整合在减少分割错误与识别错误方面的有效性如何？
• RQ3 基于特征的词分类在阿拉伯文OCR数据上的校正准确性提升程度如何？
• RQ4 浅层语言模型的引入在多大程度上提升了校正系统的性能？
• RQ5 所提出的方法是否在真实世界阿拉伯文文档扫描中优于基线OCR校正技术？

主要发现

• 所提方法显著减少了数据集中最常见的错误类型——分割错误与识别错误。
• 将加权混淆矩阵与学习分类器结合，可提升校正准确性，超越单一组件的性能。
• 使用浅层语言模型可增强上下文一致性，尤其对模糊或罕见词形表现更优。
• 该系统在阿拉伯文上的F1值与词错误率降低方面实现了可测量的改进，尽管提供的摘要中未报告具体数值。
• 基于特征的词分类能有效处理阿拉伯文中常见的未登录词与形态复杂的词。
• 该方法在低质量扫描文档上表现出鲁棒性，证实其在真实OCR流程中的实际应用价值。