[论文解读] TextMountain: Accurate Scene Text Detection via Instance Segmentation

Yixing Zhu, Jun Du|arXiv (Cornell University)|Nov 30, 2018

Handwritten Text Recognition Techniques参考文献 33被引用 18

一句话总结

TextMountain 提出了一种新颖的场景文本检测方法，通过文本中心-边界概率（TCBP）和文本中心-方向（TCD）预测实现实例分割，能够精确分离和分组文本实例。其在 MLT 上达到 76.85% 的 F-measure，在 SCUT-CTW1500 上达到 83.2%，并采用 GPU 加速后处理，实现高速推理。

ABSTRACT

In this paper, we propose a novel scene text detection method named TextMountain. The key idea of TextMountain is making full use of border-center information. Different from previous works that treat center-border as a binary classification problem, we predict text center-border probability (TCBP) and text center-direction (TCD). The TCBP is just like a mountain whose top is text center and foot is text border. The mountaintop can separate text instances which cannot be easily achieved using semantic segmentation map and its rising direction can plan a road to top for each pixel on mountain foot at the group stage. The TCD helps TCBP learning better. Our label rules will not lead to the ambiguous problem with the transformation of angle, so the proposed method is robust to multi-oriented text and can also handle well with curved text. In inference stage, each pixel at the mountain foot needs to search the path to the mountaintop and this process can be efficiently completed in parallel, yielding the efficiency of our method compared with others. The experiments on MLT, ICDAR2015, RCTW-17 and SCUT-CTW1500 databases demonstrate that the proposed method achieves better or comparable performance in terms of both accuracy and efficiency. It is worth mentioning our method achieves an F-measure of 76.85% on MLT which outperforms the previous methods by a large margin. Code will be made available.

研究动机与目标

• 解决在自然场景中高精度检测长文本、多方向及弯曲文本行的挑战。
• 克服传统语义分割或二值中心-边界分类导致的文本实例分离模糊性问题。
• 通过 TCBP 的类山峰结构实现像素的并行分组，显著减少推理阶段的后处理时间。
• 在不依赖固定多边形顶点顺序的前提下，实现对多样化文本形状和方向的鲁棒性能。
• 实现高效、可扩展的推理，适用于高分辨率图像和实时应用场景。

提出的方法

• 预测一个文本中心-边界概率（TCBP）图，其中像素值从文本中心的 1 逐渐衰减至边界处的 0，形成类似‘山峰’的结构。
• 引入文本中心-方向（TCD）以指导 TCBP 的学习并改善特征表示，但不参与推理过程。
• 利用 TCBP 的上升方向，从边界像素规划路径至峰顶，实现分组式的实例分离。
• 实现一种 GPU 加速的并行分组算法，可同时处理所有像素，极大缩短后处理时间。
• 训练一个全卷积网络（FCN），端到端联合预测文本得分（TS）、TCBP 和 TCD 图。
• 应用对旋转和曲率不变的标签规则，确保对多方向及弯曲文本的鲁棒性。

实验结果

研究问题

• RQ1 具有类山峰结构的 TCBP 图是否能有效分离相邻文本实例，而无需依赖固定边界框？
• RQ2 预测 TCD 是否能提升 TCBP 学习质量，并在弯曲和多方向文本上实现更好的泛化能力？
• RQ3 在 TCBP 图中从边界到中心的并行路径查找是否能显著加速后处理，相比串行分组？
• RQ4 与现有 SOTA 方法相比，该方法在包含长文本、多方向及弯曲文本行的数据集上的表现如何？
• RQ5 该方法在图像旋转和缩放等变换下是否具有鲁棒性，且不会引入标签模糊性？

主要发现

• TextMountain 在 MLT 数据集上达到 76.85% 的 F-measure，显著优于先前方法。
• 在 SCUT-CTW1500 上，其精度为 82.9%，召回率为 83.4%，F-measure 为 83.2%，展现出在弯曲文本检测上的强大性能。
• 在 ICDAR2015 上推理速度达 10.5 FPS，基于 GPU 的分组处理速度比基于 CPU 的 cython 实现快 200 倍以上。
• 在高分辨率 RCTW-17 图像（长边 1500）上，GPU 分组处理时间仅为每张 0.0013 秒，而 CPU 分组需 1.2910 秒。
• 由于基于 TCBP 的分组机制，该方法在长文本行上保持高精度，无需感受野覆盖整条文本线。
• TCD 成分显著提升了 TCBP 的学习效果，所有基准数据集上均表现出一致的性能增益。