[论文解读] NRTR: A No-Recurrence Sequence-to-Sequence Model For Scene Text Recognition

Fenfen Sheng, Zhineng Chen+1 more|arXiv (Cornell University)|Jun 4, 2018

Handwritten Text Recognition Techniques参考文献 39被引用 19

一句话总结

NRTR 提出了一种无循环的序列到序列场景文本识别器，其编码器和解码器均用自注意力机制替代 RNN 和 CNN，实现了更快的训练速度和具有竞争力的准确率。得益于完全的并行化和一种新颖的模态转换模块用于二维到一维特征映射，该模型在标准基准测试上实现了最先进性能，训练速度比之前模型快至少 8 倍。

ABSTRACT

Scene text recognition has attracted a great many researches due to its importance to various applications. Existing methods mainly adopt recurrence or convolution based networks. Though have obtained good performance, these methods still suffer from two limitations: slow training speed due to the internal recurrence of RNNs, and high complexity due to stacked convolutional layers for long-term feature extraction. This paper, for the first time, proposes a no-recurrence sequence-to-sequence text recognizer, named NRTR, that dispenses with recurrences and convolutions entirely. NRTR follows the encoder-decoder paradigm, where the encoder uses stacked self-attention to extract image features, and the decoder applies stacked self-attention to recognize texts based on encoder output. NRTR relies solely on self-attention mechanism thus could be trained with more parallelization and less complexity. Considering scene image has large variation in text and background, we further design a modality-transform block to effectively transform 2D input images to 1D sequences, combined with the encoder to extract more discriminative features. NRTR achieves state-of-the-art or highly competitive performance on both regular and irregular benchmarks, while requires only a small fraction of training time compared to the best model from the literature (at least 8 times faster).

研究动机与目标

• 为解决基于 RNN 的场景文本识别器因顺序计算导致的训练速度缓慢问题。
• 克服基于 CNN 的模型在复杂度高且长距离依赖学习能力有限的问题。
• 提出一种无循环、无卷积的序列到序列框架，仅依赖自注意力机制以提升并行化程度。
• 设计一种模态转换模块，有效将二维场景图像转换为一维序列，以提升特征提取效果。
• 在常规和不规则场景文本基准测试上，实现最先进准确率，同时显著缩短训练时间。

提出的方法

• NRTR 采用编码器-解码器架构，其中编码器和解码器均使用堆叠的自注意力机制，而非 RNN 或 CNN。
• 编码器通过多头自注意力机制处理展平后的图像块，生成上下文相关的特征表示。
• 解码器通过掩码自注意力机制自回归地生成字符序列，以关注先前生成的标记。
• 引入一种新颖的模态转换模块，在编码器之前将二维输入图像转换为一维序列，以增强特征判别能力。
• 模型采用端到端训练，使用交叉熵损失，无需任何校正或词典约束。
• 自注意力机制可同时对所有输入和输出位置建模全局依赖关系，相比 RNN 和 CNN 降低了计算复杂度。

实验结果

研究问题

• RQ1 能否构建一种不依赖循环或卷积、仅使用自注意力机制的序列到序列场景文本识别器？
• RQ2 在场景文本识别中，自注意力机制的特征学习与 RNN 和 CNN 相比，在准确率和训练速度方面表现如何？
• RQ3 模态转换模块能否有效弥合二维图像输入与一维序列建模在场景文本识别中的差距？
• RQ4 无循环模型在不规则和具有挑战性的场景文本图像上是否仍保持鲁棒性？
• RQ5 在自注意力机制的场景文本识别中，模型复杂度、训练速度与识别准确率之间的权衡关系如何？

主要发现

• NRTR 在所有常规基准测试中均达到最先进准确率，包括 IIIT5K 上的 99.2%、SVT 上的 98.4% 和 ICDAR2013 上的 98.9%，且未使用词典或校正模块。
• 在不规则基准测试中，NRTR 在 SVT-P 上达到 94.9%、ICDAR2015 上达到 86.6%、CUTE80 上达到 80.9%，在无词典设置下优于之前方法。
• NRTR 在单张 Titan X GPU 上每轮训练仅需 5.0 小时，比最佳先前模型（Bai et al. [1]）快至少 8 倍（后者每轮需 41 小时）。
• 模型推理速度达到每张图像约 0.03 秒，显著快于 0.11 秒（Bai et al. [1]）和 0.2 秒（Shi et al. [6]）。
• 模态转换模块对性能至关重要，它实现了有效的二维到一维转换，增强了特征表示和模型准确率。
• NRTR 在低分辨率、弯曲和遮挡文本等具有挑战性的场景中表现出强泛化能力，主要失败原因仍为严重遮挡或视觉模糊。