[论文解读] Pyramid Mask Text Detector

Jingchao Liu, Xuebo Liu+4 more|arXiv (Cornell University)|Mar 28, 2019

Handwritten Text Recognition Techniques参考文献 45被引用 53

一句话总结

PMTD 引入软金字塔文本掩码和平面聚类方法，将二维软掩码转换为准确的三维金字塔文本框，在 ICDAR 数据集上取得了最先进的结果。相比先前基于 Mask R-CNN 的方法，它通过减少边界错误标注和对边界框的依赖实现改进。

ABSTRACT

Scene text detection, an essential step of scene text recognition system, is to locate text instances in natural scene images automatically. Some recent attempts benefiting from Mask R-CNN formulate scene text detection task as an instance segmentation problem and achieve remarkable performance. In this paper, we present a new Mask R-CNN based framework named Pyramid Mask Text Detector (PMTD) to handle the scene text detection. Instead of binary text mask generated by the existing Mask R-CNN based methods, our PMTD performs pixel-level regression under the guidance of location-aware supervision, yielding a more informative soft text mask for each text instance. As for the generation of text boxes, PMTD reinterprets the obtained 2D soft mask into 3D space and introduces a novel plane clustering algorithm to derive the optimal text box on the basis of 3D shape. Experiments on standard datasets demonstrate that the proposed PMTD brings consistent and noticeable gain and clearly outperforms state-of-the-art methods. Specifically, it achieves an F-measure of 80.13% on ICDAR 2017 MLT dataset.

研究动机与目标

• 在自然场景中推动对四边形文本的鲁棒检测，超越二值掩码。
• 解决基于 Mask R-CNN 的方法中边界标注不精确以及来自边界框预测的误差传播。
• 提出软金字塔标注以编码文本实例的形状和位置信息。
• 引入平面聚类算法，从 3D 编码的掩码点回归出准确的金字塔形状（文本框）。

提出的方法

• 用软金字塔标注替代二进制文本掩码，其中像素分数通过四边形内的距离为基础的金字塔几何计算。
• 在文本区域中心将顶点计算为分数 1，将边界作为金字塔底边以编码形状和位置信息。
• 使用空洞卷积和双线性上采样修改掩码头以扩大感受野并减少棋盘格伪影。
• 以软金字塔掩码的逐像素 L1 损失进行训练，以减少边界标注错误并提高回归稳定性。
• 在测试阶段，将二维软掩码重新解释为三维点 (x,y,z)，并应用平面聚类算法拟合四个支撑平面，得到与 z=0 相交的底面作为输出文本框。
• 基线改进包括数据增强和针对文本统计量的定制 RPN 锚框。

实验结果

研究问题

• RQ1 软金字塔标注是否能比 Mask R-CNN 框架中的二进制掩码更好地捕捉四边形文本形状？
• RQ2 在三维嵌入文本掩码上应用平面聚类是否比直接的二维边界框估计或受限于边界框的掩码得到更准确的文本框？
• RQ3 相较于最先进方法，PMTD 在标准基准测试（ICDAR 2017 MLT、ICDAR 2015、ICDAR 2013）上的表现如何？

主要发现

• PMTD 在 ICDAR 2017 MLT 上达到最先进的 F 值（80.13，使用多尺度测试）。
• PMTD 在 ICDAR 2017 MLT 的 F 值比 Baseline Mask R-CNN 提升约 1.6 个百分点，并在 ICDAR 2015 和 ICDAR 2013 数据集上保持一致提升。
• 软金字塔标注减少边界错误标注并改善边界框精度，尤其在更高 IoU 阈值下。
• 平面聚类通过从软掩码的三维表示回归出更精确的文本框，显示出对不精确边界框的鲁棒性。
• PMTD 在 ICDAR 基准测试中超越了多个基线和此前的最先进方法，包括在更高 IoU 阈值下的显著改进（例如 IoU 0.8）。
• 消融研究证实软标注和平面聚类对整体性能的贡献。