[论文解读] Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

Shancheng Fang, Hongtao Xie+3 more|arXiv (Cornell University)|Mar 11, 2021

Handwritten Text Recognition Techniques参考文献 48被引用 21

一句话总结

ABINet 提出了一种用于场景文本识别的自主式、双向式及迭代式语言建模框架，该框架显式分离视觉与语言建模，采用一种新颖的双向完形填空网络（BCN）实现上下文感知的文本预测，并通过迭代修正来优化预测结果。该方法在低质量图像上表现尤为出色，实现了最先进性能，并通过在无标签数据上进行集成自训练，实现了人类水平的识别能力。

ABSTRACT

Linguistic knowledge is of great benefit to scene text recognition. However, how to effectively model linguistic rules in end-to-end deep networks remains a research challenge. In this paper, we argue that the limited capacity of language models comes from: 1) implicitly language modeling; 2) unidirectional feature representation; and 3) language model with noise input. Correspondingly, we propose an autonomous, bidirectional and iterative ABINet for scene text recognition. Firstly, the autonomous suggests to block gradient flow between vision and language models to enforce explicitly language modeling. Secondly, a novel bidirectional cloze network (BCN) as the language model is proposed based on bidirectional feature representation. Thirdly, we propose an execution manner of iterative correction for language model which can effectively alleviate the impact of noise input. Additionally, based on the ensemble of iterative predictions, we propose a self-training method which can learn from unlabeled images effectively. Extensive experiments indicate that ABINet has superiority on low-quality images and achieves state-of-the-art results on several mainstream benchmarks. Besides, the ABINet trained with ensemble self-training shows promising improvement in realizing human-level recognition. Code is available at https://github.com/FangShancheng/ABINet.

研究动机与目标

• 为解决在端到端场景文本识别系统中有效建模语言知识的挑战。
• 克服当前语言模型存在的隐式学习、单向特征表示以及对噪声视觉输入敏感等局限。
• 通过利用双向上下文和迭代优化，提升在模糊、噪声和不规则文本等挑战性条件下的识别鲁棒性。
• 探索通过自训练实现半监督学习，以利用无标签数据提升泛化能力，并逼近人类水平的性能。

提出的方法

• 通过阻断视觉与语言建模之间的梯度流，实现两者的解耦，强制显式且独立地学习语言规则。
• 设计了一种新颖的双向完形填空网络（BCN），联合利用左、右上下文信息，采用掩码注意力机制防止信息在步骤间泄露。
• 在推理阶段应用迭代修正，通过反复将预测结果反馈至语言模型以优化结果，缓解长度不匹配问题。
• 提出一种集成自训练方法，利用无标签图像的迭代预测结果作为伪标签，以改进语言模型。
• 该框架支持视觉与语言模型的独立预训练，支持迁移学习并提升模型鲁棒性。
• 方法基于 Transformer 架构实现，通过精细的掩码设计与迭代推理机制，增强上下文推理能力。

实验结果

研究问题

• RQ1 与端到端耦合模型相比，显式且自主的语言建模是否能提升场景文本识别性能？
• RQ2 采用完形填空风格的双向上下文建模对识别准确率有何影响，特别是在模糊或受损文本上？
• RQ3 迭代修正在多大程度上可减少错误传播，并提升在低质量图像上的鲁棒性？
• RQ4 利用无标签数据进行集成自训练，是否能显著提升模型泛化能力并逼近人类水平性能？

主要发现

• 在 IC13、SVT、IIIT、IC15、SVTP 和 CUTE 数据集上，ABINet-SV 分别优于重新实现的 SOTA 模型 SRN-SV 0.5%、2.3%、0.4%、1.4%、0.6% 和 1.4%。
• 在 IC13、SVT、IC15、SVTP 和 CUTE 基准上，ABINet-LV 相较于 SRN-LV 分别实现 0.6%、1.2%、1.8%、1.4% 和 1.0% 的性能提升。
• 在视觉特征不可靠的低质量图像数据集（如 SVT、SVTP、IC15）上，模型展现出显著优势。
• 迭代修正可减少错误传播，并在定性结果中成功识别出模糊和不规则文本等困难样本。
• 集成自训练方法（ABINet-LV est）提升了数据利用率，并在所有基准上实现稳定性能增益。
• 模型在三次迭代后性能趋于饱和，表明进一步增加迭代次数既无必要也计算效率低下。