[论文解读] Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition

Max Jaderberg, Karen Simonyan+2 more|arXiv (Cornell University)|Jun 9, 2014

Handwritten Text Recognition Techniques参考文献 32被引用 808

一句话总结

本文提出了一种用于自然场景文本识别的深度学习框架，该框架仅使用合成数据训练卷积神经网络（CNN），无需人类标注的真实图像。它引入了三种整体单词识别模型——词典编码、字符序列编码和N-gram集合编码，在标准基准测试中达到最先进性能，其中DICT+2-90k模型仅使用合成训练数据就在ICDAR 2013上实现了97.2%的准确率。

ABSTRACT

In this work we present a framework for the recognition of natural scene text. Our framework does not require any human-labelled data, and performs word recognition on the whole image holistically, departing from the character based recognition systems of the past. The deep neural network models at the centre of this framework are trained solely on data produced by a synthetic text generation engine -- synthetic data that is highly realistic and sufficient to replace real data, giving us infinite amounts of training data. This excess of data exposes new possibilities for word recognition models, and here we consider three models, each one "reading" words in a different way: via 90k-way dictionary encoding, character sequence encoding, and bag-of-N-grams encoding. In the scenarios of language based and completely unconstrained text recognition we greatly improve upon state-of-the-art performance on standard datasets, using our fast, simple machinery and requiring zero data-acquisition costs.

研究动机与目标

• 开发一种可扩展的端到端框架，用于自然场景文本识别，且无需人类标注的训练数据。
• 探索使用深度CNN对整个单词图像进行一次性处理的整体单词识别方法，而非依赖于字符级别的分类。
• 评估合成数据是否能在高度可变、非受限的场景文本识别中实现与真实数据相当的性能。
• 在不同词汇约束条件下，比较多种编码策略——词典、字符序列和N-gram集合——在单词识别中的相对优势与局限性。
• 证明合成数据生成足以训练出能够泛化到真实世界场景图像的模型，即使在不了解真实数据分布的情况下亦可。

提出的方法

• 在大规模合成数据集上训练深度CNN，该数据集由自定义文本渲染引擎生成，可模拟具有可变字体、光照、背景和失真的真实场景文本。
• 采用渐进式训练方法，高效训练90,000类分类头，实现词典基础的单词识别，避免因计算成本过高而无法实现大规模词汇识别。
• 通过将整个单词图像的特征池化为单一嵌入向量，将单词识别建模为整体分类任务。
• 实现三种不同的识别头：(1) 直接90,000词分类（DICT），(2) 带位置敏感输出的字符序列建模（CHAR），以及(3) 使用二值激活向量的N-gram集合编码。
• 在测试阶段应用数据增强和模型平均以提升泛化能力，尤其在非受限设置下表现更优。
• 使用一种新型合成数据引擎，将渲染的文本与真实场景图像混合，引入透视、模糊、噪声和色彩变化，以提升真实感和泛化能力。

实验结果

研究问题

• RQ1 仅在合成数据上进行训练的深度CNN是否能实现自然场景文本识别的最先进性能，且完全不依赖真实的人工标注训练数据？
• RQ2 整体单词识别——一次性处理整个单词图像——与传统的逐字符识别相比，在准确率和鲁棒性方面表现如何？
• RQ3 在不同词汇约束条件下，不同单词编码策略（词典、字符序列、N-gram集合）的相对优势与局限性是什么？
• RQ4 合成数据的真实性，包括背景混合与图像失真，对模型泛化到真实世界测试图像的影响有多大？
• RQ5 在合成数据上训练的模型是否能有效泛化到未登录词（OOV）？其错误分布与受词汇表约束的模型相比有何差异？

主要发现

• DICT+2-90k模型在ICDAR 2013数据集上仅使用合成训练数据即达到97.2%的准确率，创下词典约束识别的新最先进水平。
• CHAR+2模型在ICDAR 2013上使用语言模型时达到90.8%的准确率，在未登录词上达到79.5%，表明即使无词汇表支持，其性能依然出色。
• NGRAM+2-SVM模型在IC03-50上达到97%的准确率，在IC03-Full上达到94%，表明即使采用简单的N-gram特征最近邻解码，效果也极为显著。
• 在合成数据生成流程中引入真实图像混合，使SVT数据集上的准确率提升了6.2%，凸显了真实感数据增强的重要性。
• CHAR+2模型在错误预测上的平均编辑距离为1.9，低于DICT+2-90k的2.5，表明其在支持模糊匹配的检索类应用中更具适用性。
• 最大模型DICT+2-90k在单张GPU上处理一个单词仅需2.2ms，展示了其在实时应用中具备高度的推理效率。