[论文解读] Omnidirectional Scene Text Detection with Sequential-free Box Discretization

Yuliang Liu, Sheng Zhang+4 more|arXiv (Cornell University)|Jun 6, 2019

Handwritten Text Recognition Techniques参考文献 17被引用 13

一句话总结

本文提出了一种无序列依赖的框离散化方法（SBD），通过将四边形边界框参数化为与标签序列无关的关键边（KEs），消除了基于四边形的定向场景文本检测中的标签序列敏感性。SBD 提升了检测精度与泛化能力，在 ICDAR2015、MLT、MSRA-TD500 和 HRSC2016 上的 mAP 最高提升 7.7%，当集成到 Mask R-CNN 中时，Hmean 提升 2.4%。

ABSTRACT

Scene text in the wild is commonly presented with high variant characteristics. Using quadrilateral bounding box to localize the text instance is nearly indispensable for detection methods. However, recent researches reveal that introducing quadrilateral bounding box for scene text detection will bring a label confusion issue which is easily overlooked, and this issue may significantly undermine the detection performance. To address this issue, in this paper, we propose a novel method called Sequential-free Box Discretization (SBD) by discretizing the bounding box into key edges (KE) which can further derive more effective methods to improve detection performance. Experiments showed that the proposed method can outperform state-of-the-art methods in many popular scene text benchmarks, including ICDAR 2015, MLT, and MSRA-TD500. Ablation study also showed that simply integrating the SBD into Mask R-CNN framework, the detection performance can be substantially improved. Furthermore, an experiment on the general object dataset HRSC2016 (multi-oriented ships) showed that our method can outperform recent state-of-the-art methods by a large margin, demonstrating its powerful generalization ability. Source code: https://github.com/Yuliang-Liu/Box_Discretization_Network.

研究动机与目标

• 解决基于四边形的场景文本检测中因依赖标签序列而导致的标签混淆问题。
• 消除多方向文本检测中边界框回归对标签序列排序的依赖。
• 通过引入不变关键边（KEs）作为边界框的无序列参数化方式，提升检测的可靠性与性能。
• 证明该方法可推广至场景文本以外的其他定向目标检测任务，如多方向船只检测。
• 在仅进行最小架构修改的前提下实现最先进性能，尤其在集成到 Mask R-CNN 时表现优异。

提出的方法

• SBD 将四边形边界框离散化为四个由不变几何点（如中心点和对角线交点）导出的关键边（KEs），这些点与标签序列无关。
• 提出一种新型匹配学习策略，实现预测 KEs 与真实 KEs 的对齐，而无需依赖点的排序。
• 在 Mask R-CNN 框架中新增一个分支用于预测 KEs，实现无序列监督，降低标签混淆。
• 后处理阶段利用 KE 导出的坐标重建更紧凑、更精确的四边形边界框。
• 采用基于置信度的重评分策略，引入 gamma 参数以进一步优化检测结果。
• 该方法端到端训练，且与现有实例分割与检测流水线保持兼容。

实验结果

研究问题

• RQ1 四边形边界框的无序列参数化是否能减少标签混淆并提升检测鲁棒性？
• RQ2 KE 中使用不变几何点是否能消除因标签顺序不一致导致的性能下降？
• RQ3 SBD 是否能无缝集成到 Mask R-CNN 中，在无需架构大改的前提下提升检测精度？
• RQ4 SBD 在场景文本以外的其他定向目标检测任务中是否具备良好泛化能力？
• RQ5 在不同数据增强和标注噪声条件下，SBD 与最先进方法相比表现如何？

主要发现

• 当集成到 Mask R-CNN 中时，SBD 在 ICDAR2015 上将 Hmean 提升 2.4%，若结合重评分策略，额外获得 0.6% 的增益。
• 在 HRSC2016 船只检测基准上，SBD 达到 93.7% 的 mAP，较之前最先进方法 RRD 提升 7.7%。
• SBD 对标签序列扰动具有鲁棒性：当训练数据经随机旋转增强后，Hmean 仅下降 0.3%，而 East 和 CTD 分别下降 9.7% 和 13.7%。
• 消融实验证实，SBD 提升了检测可靠性，并支持更有效的后处理以生成更紧凑的预测结果。
• 即使在训练数据有限的情况下，SBD 仍保持优异性能，如 HRSC2016 实验中仅用两小时完成训练。
• 该方法展现出卓越的泛化能力，在 MLT、ICDAR2015 和 MSRA-TD500 等多个基准上均优于最先进方法。