[论文解读] Towards End-to-End Text Spotting in Natural Scenes

Peng Wang, Hui Li+1 more|arXiv (Cornell University)|Jun 14, 2019

Handwritten Text Recognition Techniques参考文献 65被引用 7

一句话总结

本文提出了一种用于场景文本定位的端到端深度学习框架，通过共享卷积特征在单次前向传播中联合检测和识别文本。通过在识别分支中引入二维注意力机制，模型能够准确地定位不规则形状文本中的字符，实现鲁棒的识别与边界框优化，在常规和不规则文本基准上均达到最先进性能。

ABSTRACT

Text spotting in natural scene images is of great importance for many image understanding tasks. It includes two sub-tasks: text detection and recognition. In this work, we propose a unified network that simultaneously localizes and recognizes text with a single forward pass, avoiding intermediate processes such as image cropping and feature re-calculation, word separation, and character grouping. In contrast to existing approaches that consider text detection and recognition as two distinct tasks and tackle them one by one, the proposed framework settles these two tasks concurrently. The whole framework can be trained end-to-end and is able to handle text of arbitrary shapes. The convolutional features are calculated only once and shared by both detection and recognition modules. Through multi-task training, the learned features become more discriminate and improve the overall performance. By employing the $2$D attention model in word recognition, the irregularity of text can be robustly addressed. It provides the spatial location for each character, which not only helps local feature extraction in word recognition, but also indicates an orientation angle to refine text localization. Our proposed method has achieved state-of-the-art performance on several standard text spotting benchmarks, including both regular and irregular ones.

研究动机与目标

• 解决自然场景中文本形状、方向和版式多变所带来的端到端文本定位挑战。
• 克服依赖中间裁剪和特征重新提取的两阶段流水线方法的局限性。
• 通过基于注意力的定位与识别方法，提升对不规则文本（如弯曲或倾斜文本）的性能。
• 通过共享特征与多任务训练，实现检测与识别的联合优化。
• 通过消除冗余特征计算与高效网络结构设计，降低计算成本并提升推理速度。

提出的方法

• 使用ResNet-FPN主干网络提取多尺度特征，供检测与识别分支共享使用。
• 在FPN的多个层级上应用文本提议网络（TPN）以生成文本实例的区域提议。
• 对每个提议区域应用RoI池化，提取固定尺寸的2D特征，供检测与识别任务使用。
• 在识别分支中引入基于2D注意力的编码器-解码器网络，以定位字符位置并提升转录准确性。
• 利用注意力权重估计方向与空间对齐性，从而对边界框进行优化，尤其适用于不规则文本。
• 采用改进的LSTM架构（减少参数量与推理时间）实现共享特征编码策略，提升效率。

实验结果

研究问题

• RQ1 统一的端到端框架是否能在保持常规与不规则文本高精度的同时，联合优化文本检测与识别？
• RQ2 二维注意力机制在建模不规则文本中字符间空间关系方面的有效性如何？
• RQ3 基于注意力的定位在多大程度上可提升边界框质量并减少对精确初始提议的依赖？
• RQ4 与独立训练相比，采用共享特征的多任务训练是否能增强特征判别能力并提升整体性能？
• RQ5 通过减少LSTM层数与优化推理流程等架构改进，是否能显著提升速度而不明显牺牲准确性？

主要发现

• 所提方法在多个基准上达到最先进性能，包括ICDAR2013（F-measure: 58.72%）与Total-Text（F-measure: 59.11%）（含边界框优化）。
• 利用注意力热图进行边界框优化，使ICDAR2013上不规则文本的检测性能提升约3%，Total-Text上提升约7%。
• 在Total-Text上，通过注意力图拟合六点多边形相比四边形拟合，平均F-measure提升0.4%。
• 与会议版本相比，模型推理速度提升约2倍（在Titan X上处理720×1280图像耗时约0.5秒），参数量减少400万。
• 消融实验表明，改进的LSTM架构在不显著降低准确率的前提下，有效减少了参数量与推理时间。
• 失败案例主要源于低对比度文本、小尺寸、非常见字体、模糊以及注意力机制导致的边界框优化不完善。