[论文解读] Sequence-to-Label Script Identification for Multilingual OCR

Yasuhisa Fujii, Karel Driesen+3 more|arXiv (Cornell University)|Aug 15, 2017

Handwritten Text Recognition Techniques参考文献 9被引用 4

一句话总结

本文提出一种用于多语言OCR脚本识别的序列到标签方法，将任务建模为端到端训练的编码器-摘要器架构。通过用更简单、更高效的序列到标签模型替代先前的序列到序列方法，作者在包含232种语言、30种脚本的数据集上，将脚本识别错误率降低了16%，因脚本误识别导致的字符错误率降低了33%。

ABSTRACT

We describe a novel line-level script identification method. Previous work repurposed an OCR model generating per-character script codes, counted to obtain line-level script identification. This has two shortcomings. First, as a sequence-to-sequence model it is more complex than necessary for the sequence-to-label problem of line script identification. This makes it harder to train and inefficient to run. Second, the counting heuristic may be suboptimal compared to a learned model. Therefore we reframe line script identification as a sequence-to-label problem and solve it using two components, trained end-toend: Encoder and Summarizer. The encoder converts a line image into a feature sequence. The summarizer aggregates the sequence to classify the line. We test various summarizers with identical inception-style convolutional networks as encoders. Experiments on scanned books and photos containing 232 languages in 30 scripts show 16% reduction of script identification error rate compared to the baseline. This improved script identification reduces the character error rate attributable to script misidentification by 33%.

研究动机与目标

• 解决先前序列到序列模型在多语言OCR行级脚本识别中的效率低下和性能不佳的问题。
• 通过将任务重新定义为序列到标签问题，提升脚本识别准确率并降低计算成本。
• 评估不同摘要器架构（如Gate、LSTM、Mean、Max）与共享编码器结合时的性能表现，以实现最优效果。
• 降低多语言OCR系统中因脚本误识别导致的字符错误率。
• 探索当前行级脚本识别方法在处理混合脚本行时的局限性，并提出未来端到端集成的方向。

提出的方法

• 该方法使用编码器将行图像通过一种类似Inception的卷积神经网络转换为深度特征序列。
• 摘要器组件通过不同的架构（如Gate、LSTM、Mean、Max池化）将特征序列聚合为单一标签（脚本）。
• Gate摘要器利用学习到的注意力机制，突出显示显著的字符特征，例如独特的西里尔字母或婆罗米文字符。
• 整个系统通过在脚本分类任务上使用交叉熵损失进行端到端训练。
• 该方法用直接的序列到标签分类替代了先前方法中对每个字符预测结果的计数启发式规则。
• 系统在包含232种语言、30种脚本的扫描书籍和照片混合数据集上进行评估。

实验结果

研究问题

• RQ1 序列到标签的建模方式是否能在多语言OCR的行级脚本识别任务中超越先前的序列到序列方法？
• RQ2 不同摘要器架构（如Gate、LSTM、Mean、Max）在准确率和效率方面的表现如何比较？
• RQ3 脚本识别准确率的提升在多大程度上减少了因分类错误导致的字符错误率？
• RQ4 为何Gate摘要器在性能上优于LSTM，尽管两者均为序列模型？
• RQ5 当前行级脚本识别方法在处理混合脚本行时存在哪些局限性？

主要发现

• 所提出的序列到标签方法相比先前的序列到序列基线，将脚本识别错误率降低了16%。
• Gate摘要器表现最佳，其利用学习到的注意力机制聚焦于如西里尔文或婆罗米文等显著脚本特征。
• 改进的脚本识别使因脚本误识别导致的字符错误率降低了33%。
• 由于架构更简单，该方法在计算效率上优于先前的序列到序列模型。
• 模型在照片数据中对非拉丁脚本的识别表现较差，错误率相比Oracle情况翻倍，原因是此类脚本的训练数据不足。
• 尽管LSTM具备序列建模能力，但其性能未超过Gate摘要器，表明注意力机制在此任务中更为有效。