[论文解读] Sequence to Sequence Learning for Optical Character Recognition

D. K. Sahu, Mohak Sukhwani|arXiv (Cornell University)|Nov 13, 2015

Speech Recognition and Synthesis参考文献 12被引用 12

一句话总结

本文提出一种用于印刷体文本OCR的端到端循环编码器-解码器架构，通过基于LSTM的编码和解码，将可变长度的单词图像映射为可变长度的文本序列。该方法在性能上与基于CTC的模型相当，并生成具有表现力的、固定维数的单词嵌入，显著提升了传统词袋模型和SIFT方法在检索任务中的效率与准确性。

ABSTRACT

We propose an end-to-end recurrent encoder-decoder based sequence learning approach for printed text Optical Character Recognition (OCR). In contrast to present day existing state-of-art OCR solution which uses connectionist temporal classification (CTC) output layer, our approach makes minimalistic assumptions on the structure and length of the sequence. We use a two step encoder-decoder approach -- (a) A recurrent encoder reads a variable length printed text word image and encodes it to a fixed dimensional embedding. (b) This fixed dimensional embedding is subsequently comprehended by decoder structure which converts it into a variable length text output. Our architecture gives competitive performance relative to connectionist temporal classification (CTC) output layer while being executed in more natural settings. The learnt deep word image embedding from encoder can be used for printed text based retrieval systems. The expressive fixed dimensional embedding for any variable length input expedites the task of retrieval and makes it more efficient which is not possible with other recurrent neural network architectures. We empirically investigate the expressiveness and the learnability of long short term memory (LSTMs) in the sequence to sequence learning regime by training our network for prediction tasks in segmentation free printed text OCR. The utility of the proposed architecture for printed text is demonstrated by quantitative and qualitative evaluation of two tasks -- word prediction and retrieval.

研究动机与目标

• 开发一种用于印刷体文本OCR的端到端深度学习模型，避免文本分割并处理可变长度输入。
• 探究LSTM在序列到序列学习中用于OCR任务的表达能力与可学习性。
• 利用编码器生成的固定维数深度单词图像嵌入，实现高效且准确的单词检索。
• 在单词预测和基于图像的文本检索任务中，展示所提出架构的实用性。

提出的方法

• 使用双向LSTM编码器处理可变长度的单词图像，并生成固定维数的上下文向量。
• 采用条件LSTM解码器，从固定维数的嵌入中生成可变长度的文本输出。
• 通过序列到序列训练与交叉熵损失，端到端学习编码器-解码器架构。
• 提取编码器的最终隐藏状态作为深度单词图像嵌入（DwIE），用于检索任务。
• 利用DwIE特征进行近似最近邻搜索，实现高效检索。
• 以基于CTC的LSTM、Tesseract和Abbyy作为基线模型进行性能评估。

实验结果

研究问题

• RQ1 与基于CTC的模型相比，序列到序列的LSTM编码器-解码器模型能否在无分割印刷体文本OCR任务中实现具有竞争力的性能？
• RQ2 编码器学习到的固定维数嵌入在下游检索任务中具有多强的表达能力？
• RQ3 所提出的架构能否在单词图像检索任务中超越传统的词袋模型和SIFT方法？
• RQ4 该模型在预测和嵌入学习过程中，如何处理单词长度和字符结构的差异？

主要发现

• LSTM编码器-解码器模型在性能上优于普通RNN，并在单词预测准确率上与基于CTC的LSTM及Abbyy等商业工具相当或更优。
• 深度单词图像嵌入（DwIE）在top-100和top-5000检索准确率上，显著优于基于SIFT的词袋模型和增强轮廓特征。
• 在top-5000检索中，DwIE特征优于Abbyy的商业OCR系统，而在top-100检索中表现相当。
• t-SNE可视化结果表明，DwIE嵌入能够捕捉结构和语言上的相似性，使字母如'm'和'M'、'a'和'A'以及数字聚集在一起。
• 该模型对图像中的微小组件（如句号）表现出高度敏感性，从而在类似' A.'的查询中显著提升检索精度，而传统词袋模型则完全失效。
• 收敛曲线显示模型训练过程稳定，且由于采用固定维数嵌入，该架构显著提升了检索速度。