[论文解读] Text Detection Forgot About Document OCR

Krzysztof Olejniczak, Milan Šulc|arXiv (Cornell University)|Oct 14, 2022

Handwritten Text Recognition Techniques被引用 5

一句话总结

本论文评估了最先进的野外文本检测模型（原本为复杂场景设计）在结构化文档数据集上的表现，表明其在检测性能上优于商用OCR系统（如Google Document AI和AWS Textract），F1分数超过96%。当与预训练的CRNN识别模型结合时，这些检测器在端到端识别中F1分数超过90%，证明其具备强大的迁移能力，并有潜力提升文档OCR流水线的性能。

ABSTRACT

Detection and recognition of text from scans and other images, commonly denoted as Optical Character Recognition (OCR), is a widely used form of automated document processing with a number of methods available. Yet OCR systems still do not achieve 100% accuracy, requiring human corrections in applications where correct readout is essential. Advances in machine learning enabled even more challenging scenarios of text detection and recognition "in-the-wild" - such as detecting text on objects from photographs of complex scenes. While the state-of-the-art methods for in-the-wild text recognition are typically evaluated on complex scenes, their performance in the domain of documents is typically not published, and a comprehensive comparison with methods for document OCR is missing. This paper compares several methods designed for in-the-wild text recognition and for document text recognition, and provides their evaluation on the domain of structured documents. The results suggest that state-of-the-art methods originally proposed for in-the-wild text detection also achieve competitive results on document text detection, outperforming available OCR methods. We argue that the application of document OCR should not be omitted in evaluation of text detection and recognition methods.

研究动机与目标

• 评估最先进的野外文本检测模型在结构化文档图像上的泛化能力。
• 在标准文档基准数据集上，比较野外检测器与专用文档OCR引擎的性能。
• 通过在文档特定数据集上结合微调后的野外检测器与公开识别模型，评估端到端文本识别性能。
• 强调在文本检测方法的基准测试中纳入文档OCR评估的重要性。

提出的方法

• 在文档特定数据集（FUNSD、CORD、XFUND）上微调多个野外文本检测模型（包括DBNet++、TextBPN++、DCLNet和FCENet）。
• 使用CLEval指标评估检测性能，重点关注多个文档数据集上的F1分数、精确率和召回率。
• 将微调后的检测器与来自MMOCR和docTR的预训练识别模型（CRNN、SAR、MASTER）结合，实现两阶段端到端文本识别。
• 使用MMOCR 0.6.2 Model Zoo和docTR中的公开可用模型进行识别，避免重新训练以确保公平比较。
• 将结果与商用OCR服务（AWS Textract、Google Document AI）以及开源OCR（Tesseract、PP-OCR）进行对比。
• 在检测头中应用可微分二值化，以提高在文档中不规则文本实例上的定位精度。

实验结果

研究问题

• RQ1 最先进的野外文本检测模型在结构化文档图像上的表现是否能与专用文档OCR系统相媲美甚至更优？
• RQ2 在文档数据上微调野外检测器后，其在标准文档基准上的检测F1分数有何变化？
• RQ3 当将野外检测器与通用识别模型结合用于文档数据集时，其端到端识别性能如何？
• RQ4 为何商用OCR服务（如AWS Textract）在端到端评估中表现优于开源模型，尽管其并未专门在文档上进行训练？
• RQ5 是否应在新文本检测方法的评估中包含文档OCR基准，以确保其实际适用性？

主要发现

• DBNet++在FUNSD上的检测F1分数达到92.23%，在CORD上达到96.62%，优于Google Document AI（分别为91.42%和90.97%）以及AWS Textract（分别为94.53%和83.32%）。
• TextBPN++在FUNSD上的检测F1分数为90.86%，在CORD上为96.52%，展现出对文档布局的强大泛化能力。
• 结合CRNN与DBNet++的端到端识别在FUNSD上实现了93.52%的召回率和92.23%的F1分数，优于所有其他检测器与识别模型的组合。
• AWS Textract在CORD上的端到端识别F1分数达到96.63%，显著优于所有开源模型，可能得益于其内部识别引擎的卓越性能。
• 微调后的CRNN模型在与野外检测器结合时，在FUNSD上F1分数超过93%，在CORD上超过98.5%，表明其具备强大的迁移能力。
• 尽管DBNet++的检测召回率更高，但其端到端F1分数并非最高，原因是精确率较低，表明检测质量本身并不能保证更好的识别性能。