[论文解读] RRPN++: Guidance Towards More Accurate Scene Text Detection

Jianqi Ma|arXiv (Cornell University)|Sep 28, 2020

Handwritten Text Recognition Techniques参考文献 54被引用 4

一句话总结

RRPN++ 通过引入一种无需锚框的金字塔提议网络（APPN），实现了高效且自适应尺度的提议生成，并集成了识别分支以实现多任务学习与联合过滤，从而在 ICDAR2015 上相比 RRPN 实现了 6% 的 F-measure 提升，达到当前最先进性能，且推理速度更快。

ABSTRACT

RRPN is among the outstanding scene text detection approaches, but the manually-designed anchor and coarse proposal refinement make the performance still far from perfection. In this paper, we propose RRPN++ to exploit the potential of RRPN-based model by several improvements. Based on RRPN, we propose the Anchor-free Pyramid Proposal Networks (APPN) to generate first-stage proposals, which adopts the anchor-free design to reduce proposal number and accelerate the inference speed. In our second stage, both the detection branch and the recognition branch are incorporated to perform multi-task learning. In inference stage, the detection branch outputs the proposal refinement and the recognition branch predicts the transcript of the refined text region. Further, the recognition branch also helps rescore the proposals and eliminate the false positive proposals by the jointing filtering strategy. With these enhancements, we boost the detection results by $6\%$ of F-measure in ICDAR2015 compared to RRPN. Experiments conducted on other benchmarks also illustrate the superior performance and efficiency of our model.

研究动机与目标

• 为解决 RRPN 的局限性，特别是对人工设计锚框的依赖以及粗粒度的提议优化。
• 通过用无锚框、多尺度的提议网络替代基于锚框的提议，提升检测精度与推理速度。
• 利用识别监督作为指导信号，通过多任务学习提升检测性能。
• 通过检测与识别分数的联合过滤，减少误检。
• 在 ICDAR2013、ICDAR2015 和 COCO-Text 等多个基准上实现最先进性能。

提出的方法

• 提出无锚框金字塔提议网络（APPN），直接从特征图生成提议，无需锚框模板，减少提议数量并加速推理。
• 将多尺度文本实例的标签分配给不同特征金字塔层级，实现平衡且高效的多尺度检测学习。
• 将识别分支集成到检测头中，实现端到端的多任务学习，其中识别结果用于引导检测优化。
• 使用 RRoI Align 提取更精确的特征表示以优化提议，提升定位精度。
• 结合检测分数与识别置信度进行联合过滤，重新评分提议并消除误检。
• 采用两阶段推理流程：第一阶段由 APPN 生成提议，第二阶段分别在检测分支与识别分支中进行优化与文本预测。

实验结果

研究问题

• RQ1 与基于锚框的方法相比，无锚框的提议生成机制是否能提升场景文本检测的效率与精度？
• RQ2 集成识别分支如何通过多任务学习提升检测性能？
• RQ3 结合检测分数与识别分数的联合过滤是否能有效减少误检提议？
• RQ4 所提出的 APPN 设计在多尺度文本检测性能方面提升了多少？
• RQ5 识别监督的引入是否在标准基准上带来可测量的 F-measure 提升？

主要发现

• 在 ICDAR2015 基准上，RRPN++ 相较于 RRPN 实现了 6% 的绝对 F-measure 提升，达到 89.5% 的 F-measure。
• 在 ICDAR2013 上，RRPN++ 达到所有基于回归方法中的最高 F-measure（92.0%），推理速度达 13.3 fps。
• 在 COCO-Text 上，RRPN++ 达到 64.6% 的 F-measure，较次佳方法提升 1.6%，且在速度上优于多数先前方法。
• 尽管识别分支未针对识别准确率进行优化，但其显著提升了检测性能，证明了跨任务监督的价值。
• 结合检测与识别分数的联合过滤有效减少了误检，为整体性能提升做出贡献。
• 无锚框的 APPN 设计减少了提议数量，消除了对 IoU 基标签分配的需求，降低了 GPU 显存占用并提升了训练效率。