[论文解读] RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition

Xiaoyu Yue, Zhanghui Kuang+3 more|arXiv (Cornell University)|Jul 15, 2020

Handwritten Text Recognition Techniques参考文献 54被引用 13

一句话总结

RobustScanner 提出了一种动态融合机制，通过增强基于注意力的场景文本识别中的位置线索，提升了在无上下文文本上的鲁棒性。通过引入一个位置感知模块和一个可学习门控机制，实现上下文与位置信息的自适应融合，该方法在常规和不规则基准上均实现了最先进性能，同时在随机字符序列等无上下文序列上保持了出色的准确率。

ABSTRACT

The attention-based encoder-decoder framework has recently achieved impressive results for scene text recognition, and many variants have emerged with improvements in recognition quality. However, it performs poorly on contextless texts (e.g., random character sequences) which is unacceptable in most of real application scenarios. In this paper, we first deeply investigate the decoding process of the decoder. We empirically find that a representative character-level sequence decoder utilizes not only context information but also positional information. Contextual information, which the existing approaches heavily rely on, causes the problem of attention drift. To suppress such side-effect, we propose a novel position enhancement branch, and dynamically fuse its outputs with those of the decoder attention module for scene text recognition. Specifically, it contains a position aware module to enable the encoder to output feature vectors encoding their own spatial positions, and an attention module to estimate glimpses using the positional clue (i.e., the current decoding time step) only. The dynamic fusion is conducted for more robust feature via an element-wise gate mechanism. Theoretically, our proposed method, dubbed \emph{RobustScanner}, decodes individual characters with dynamic ratio between context and positional clues, and utilizes more positional ones when the decoding sequences with scarce context, and thus is robust and practical. Empirically, it has achieved new state-of-the-art results on popular regular and irregular text recognition benchmarks while without much performance drop on contextless benchmarks, validating its robustness in both contextual and contextless application scenarios.

研究动机与目标

• 为解决基于注意力的场景文本识别模型在无上下文文本（如随机字符序列）上表现不佳的问题。
• 探究在无上下文场景下误识别的根本原因，特别是由于上下文信息主导而引发的位置注意力漂移问题。
• 设计一种增强解码器中位置感知能力的方法，以提升鲁棒性，同时不损害在有上下文序列上的性能。
• 开发一种动态融合机制，根据序列上下文自适应地平衡解码过程中的上下文与位置线索。

提出的方法

• 引入一个位置增强分支，仅使用当前解码时间步作为位置线索来估计视觉线索，与上下文无关。
• 采用位置感知模块，将空间位置编码注入编码器特征图，以强化位置表征。
• 在位置增强分支中使用注意力模块，仅基于位置线索（时间步）和编码器特征计算视觉线索。
• 在每个解码步骤应用可学习的逐元素门控机制，动态融合常规解码器与位置增强分支的线索向量。
• 门控机制学习上下文与位置信息之间的动态比例，在上下文稀缺时更倾向于位置信息。
• 采用端到端训练，使用字符级识别的交叉熵损失，同时优化准确率与鲁棒性。

实验结果

研究问题

• RQ1 为何基于注意力的场景文本识别模型在无上下文文本序列上表现不佳，尽管其在有上下文基准上表现优异？
• RQ2 解码器中的查询特征向量在多大程度上编码了位置信息？这种编码如何随解码时间步变化？
• RQ3 通过专用分支增强位置线索，是否能提升无上下文序列上的识别鲁棒性，同时不降低在有上下文序列上的性能？
• RQ4 与加法或拼接等静态融合方法相比，上下文与位置线索的动态融合效果如何？

主要发现

• RobustScanner 在 IIIT-5K 上达到 95.3% 的最先进准确率，在 SVT 上为 88.1%，在 ICDAR 2013 上为 94.8%，在 ICDAR 2015 上为 77.1%，在 SVTP 上为 79.5%，在 CUTE 80 上为 90.3%。
• 在合成的 RandText 基准（随机字符序列）上，RobustScanner 达到 83.4% 的准确率，显著优于 SAR（59.6%）及其他基线模型。
• 动态融合模块在所有基准上均优于静态融合方法（加法与拼接），尤其在上下文挑战性较大的数据集上提升最显著。
• 消融研究证实，位置感知模块至关重要，若以正弦-余弦位置编码替代该模块，关键基准上的准确率将下降 3-5%。
• 在车牌识别任务中，RobustScanner 在具有挑战性的分布外测试集上达到 55.7% 的准确率，优于 SAR（29.9%）、DAN（51.1%）和 Wang et al.（46.4%）。
• 该方法在保持标准基准最先进性能的同时，显著提升了无上下文数据的性能，验证了其在有上下文与无上下文场景下的双重鲁棒性。