[论文解读] Single Shot TextSpotter with Explicit Alignment and Attention

Tong He, Zhi Tian+4 more|arXiv (Cornell University)|Mar 9, 2018

Handwritten Text Recognition Techniques被引用 3

一句话总结

该论文提出了一种单阶段文本检测与识别框架，通过显式的文本对齐层和字符级注意力机制，在自然图像中联合检测和识别文本。通过在检测和识别任务之间共享端到端可训练模型的特征，该方法在 ICDAR2015 上实现了最先进性能，F-measure 从 0.54 提升至 0.82，且使用了强词汇表。

ABSTRACT

Text detection and recognition in natural images have long been considered as two separate tasks that are processed sequentially. Training of two tasks in a unified framework is non-trivial due to significant dif- ferences in optimisation difficulties. In this work, we present a conceptually simple yet efficient framework that simultaneously processes the two tasks in one shot. Our main contributions are three-fold: 1) we propose a novel text-alignment layer that allows it to precisely compute convolutional features of a text instance in ar- bitrary orientation, which is the key to boost the per- formance; 2) a character attention mechanism is introduced by using character spatial information as explicit supervision, leading to large improvements in recognition; 3) two technologies, together with a new RNN branch for word recognition, are integrated seamlessly into a single model which is end-to-end trainable. This allows the two tasks to work collaboratively by shar- ing convolutional features, which is critical to identify challenging text instances. Our model achieves impressive results in end-to-end recognition on the ICDAR2015 dataset, significantly advancing most recent results, with improvements of F-measure from (0.54, 0.51, 0.47) to (0.82, 0.77, 0.63), by using a strong, weak and generic lexicon respectively. Thanks to joint training, our method can also serve as a good detec- tor by achieving a new state-of-the-art detection performance on two datasets.

研究动机与目标

• 将文本检测与识别统一为一个端到端可训练的框架。
• 解决同时优化两个根本不同的任务的挑战。
• 通过注意力机制显式监督字符的空间位置，以提高识别准确率。
• 通过检测与识别分支之间的协同学习，提升检测性能。
• 通过一种新型对齐层，实现在任意方向文本上的精确特征提取。

提出的方法

• 引入一种新型文本对齐层，以计算任意方向文本实例的卷积特征。
• 将字符空间信息用作字符注意力机制中的显式监督，以提升识别性能。
• 在模型中集成一个新的 RNN 分支，用于单词级别的识别。
• 检测与识别分支共享卷积特征，从而实现协同学习。
• 整个模型采用端到端训练，支持检测与识别任务的联合优化。
• 该框架无缝地将对齐、注意力与基于 RNN 的识别整合到单一推理流程中。

实验结果

研究问题

• RQ1 文本检测与识别的联合训练是否能同时提升两个任务的性能？
• RQ2 通过字符空间注意力实现的显式监督在多大程度上影响识别准确率？
• RQ3 文本对齐层在任意方向文本上的性能提升程度如何？
• RQ4 统一的单阶段模型是否能超越串行或两阶段方法？
• RQ5 检测与识别之间共享特征学习是否能提升在具有挑战性的文本实例上的泛化能力？

主要发现

• 在 ICDAR2015 上，使用强词汇表时，该模型的 F-measure 达到 0.82，相比之前最先进方法的 0.54 显著提升。
• 在弱词汇表下，F-measure 达到 0.77，相比之前工作的 0.51 显著提升。
• 在通用词汇表下，F-measure 从 0.47 提升至 0.63，表明在各类词汇表下均具有鲁棒性。
• 由于联合训练，该模型在两个基准数据集上的检测性能均达到新的最先进水平。
• 显式对齐与字符注意力的结合显著提升了识别准确率，尤其在具有挑战性的文本实例上表现突出。