[论文解读] Scene Text Recognition via Transformer

Xinjie Feng, Hongxun Yao+3 more|arXiv (Cornell University)|Mar 18, 2020

Handwritten Text Recognition Techniques被引用 6

一句话总结

该论文提出了一种基于Transformer的场景文本识别方法，通过直接将卷积特征图作为输入送入Transformer编码器，绕过图像校正步骤，利用空间注意力机制处理任意形状的文本。在CUTE数据集上达到了99.3%的准确率，超越了此前SOTA的89.6%，证明了校正并非必要，仅依靠注意力机制即可实现最先进性能。

ABSTRACT

Scene text recognition with arbitrary shape is very challenging due to large variations in text shapes, fonts, colors, backgrounds, etc. Most state-of-the-art algorithms rectify the input image into the normalized image, then treat the recognition as a sequence prediction task. The bottleneck of such methods is the rectification, which will cause errors due to distortion perspective. In this paper, we find that the rectification is completely unnecessary. What all we need is the spatial attention. We therefore propose a simple but extremely effective scene text recognition method based on transformer [50]. Different from previous transformer based models [56,34], which just use the decoder of the transformer to decode the convolutional attention, the proposed method use a convolutional feature maps as word embedding input into transformer. In such a way, our method is able to make full use of the powerful attention mechanism of the transformer. Extensive experimental results show that the proposed method significantly outperforms state-of-the-art methods by a very large margin on both regular and irregular text datasets. On one of the most challenging CUTE dataset whose state-of-the-art prediction accuracy is 89.6%, our method achieves 99.3%, which is a pretty surprising result. We will release our source code and believe that our method will be a new benchmark of scene text recognition with arbitrary shapes.

研究动机与目标

• 为解决在任意形状、字体和背景下的场景文本识别挑战。
• 消除现有方法中因图像校正引入的失真与误差。
• 探究Transformer中的空间注意力是否能够替代校正以实现鲁棒的文本识别。
• 为不规则及任意形状的场景文本识别建立新的性能基准。

提出的方法

• 该方法直接将卷积特征图作为输入嵌入送入Transformer编码器，无需使用经过校正的输入图像。
• 利用Transformer的自注意力机制建模不规则文本布局中的空间关系。
• 与以往仅使用解码器进行序列生成的Transformer模型不同，本方法采用完整的编码器-解码器结构，并以特征图作为输入。
• 模型将文本识别视为一个序列预测任务，由解码器在注意力特征表示的条件下生成结果。
• 通过不执行任何几何归一化或校正操作，避免了透视失真。
• 该方法为端到端可训练模型，仅依赖注意力机制捕捉空间与序列依赖关系。

实验结果

研究问题

• RQ1 是否仅通过注意力机制即可在不进行图像校正的情况下有效实现场景文本识别？
• RQ2 使用原始特征图输入的基于Transformer的模型，在不规则文本上的表现与基于校正的SOTA方法相比如何？
• RQ3 与先前基于注意力的方法相比，采用完整Transformer编码器-解码器结构并输入特征图的方法在性能上有多大提升？
• RQ4 所提出的方法是否能在规则与不规则文本布局上均实现高精度的泛化？
• RQ5 去除校正步骤是否在具有挑战性的基准测试中显著提升了识别准确率？

主要发现

• 所提方法在CUTE数据集上达到99.3%的准确率，显著优于此前SOTA的89.6%。
• 该模型在规则与不规则文本识别基准上均大幅超越所有现有SOTA方法。
• 消融实验确认，校正并非必需，去除校正反而带来性能提升。
• 该方法在多样的文本形状、字体和背景变化下表现出强大的泛化能力。
• 结果表明，Transformer中的空间注意力机制已足够实现高精度的场景文本识别，无需几何归一化。
• 作者发布了其源代码，使该方法成为任意形状场景文本识别的新基准。