[论文解读] PuzzleNet: Scene Text Detection by Segment Context Graph Learning

Hao Liu, Antai Guo+3 more|arXiv (Cornell University)|Feb 26, 2020

Handwritten Text Recognition Techniques参考文献 37被引用 6

一句话总结

PuzzleNet 提出了一种基于分解的场景文本检测新方法，将文本区域建模为定向矩形片段，并通过上下文图利用双分支多相似性图卷积网络（MSGCN）学习片段之间的外观与几何相关性。该方法通过有效融合片段上下文信息，实现了对任意形状文本的精确多边形检测，在 ICDAR15、MSRA-TD500 和 SCUT-CTW1500 上取得了最先进或具有竞争力的性能。

ABSTRACT

Recently, a series of decomposition-based scene text detection methods has achieved impressive progress by decomposing challenging text regions into pieces and linking them in a bottom-up manner. However, most of them merely focus on linking independent text pieces while the context information is underestimated. In the puzzle game, the solver often put pieces together in a logical way according to the contextual information of each piece, in order to arrive at the correct solution. Inspired by it, we propose a novel decomposition-based method, termed Puzzle Networks (PuzzleNet), to address the challenging scene text detection task in this work. PuzzleNet consists of the Segment Proposal Network (SPN) that predicts the candidate text segments fitting arbitrary shape of text region, and the two-branch Multiple-Similarity Graph Convolutional Network (MSGCN) that models both appearance and geometry correlations between each segment to its contextual ones. By building segments as context graphs, MSGCN effectively employs segment context to predict combinations of segments. Final detections of polygon shape are produced by merging segments according to the predicted combinations. Evaluations on three benchmark datasets, ICDAR15, MSRA-TD500 and SCUT-CTW1500, have demonstrated that our method can achieve better or comparable performance than current state-of-the-arts, which is beneficial from the exploitation of segment context graph.

研究动机与目标

• 为解决自然场景图像中任意形状、多方向及长文本实例的检测挑战。
• 克服先前基于分解的方法忽略文本片段之间上下文信息的局限性。
• 通过上下文图结构建模片段之间的外观与几何相关性，提升检测精度。
• 开发一种能捕捉比方形或字符级框更有效局部信息的片段表征。
• 通过基于预测上下文组合的片段融合，实现精确的多边形形状检测。

提出的方法

• 片段提议网络（SPN）生成覆盖局部文本区域且具有一致方向的定向矩形片段，替代传统的方形或字符级框。
• 片段被建模为上下文图中的节点，边表示片段之间的外观与几何相关性。
• 引入双分支多相似性图卷积网络（MSGCN），联合推理每个片段与其上下文邻居之间的外观与几何相似性。
• MSGCN 使用多相似性机制，更好地捕捉片段之间的视觉与空间关系。
• 将预测的片段组合聚类并合并为最终的多边形形状检测结果。
• 采用多尺度输入以提升片段质量与检测召回率，尤其适用于长文本或弯曲文本。

实验结果

研究问题

• RQ1 通过基于图的方法建模片段上下文，是否能提升对不规则和多方向场景文本的检测精度？
• RQ2 使用定向矩形片段替代方形或字符级框，是否能提升场景文本检测的性能？
• RQ3 一种联合建模外观与几何相关性的双分支图卷积网络，是否能优于单模态方法在片段组合预测中的表现？
• RQ4 所提方法在具有多样化文本形状与方向的基准测试中，与最先进方法相比表现如何？
• RQ5 多尺度输入在多大程度上提升了对长文本或弯曲文本实例的检测能力？

主要发现

• 在 ICDAR2015 上，PuzzleNet 使用单尺度输入实现 88.0% 的 F-measure，超越使用多尺度输入的 LOMO MS。
• 在 MSRA-TD500 上，PuzzleNet 实现 85.8% 的 F-measure，比所有先前方法高出 2.2 个百分点，召回率达 83.5%。
• 在 SCUT-CTW1500 上，PuzzleNet 使用单尺度输入实现 84.4% 的 F-measure，使用多尺度输入提升至 84.9%，召回率显著提高至 86.5%。
• 消融实验表明，具有局部方向感知能力的矩形片段优于方形框（PuzzleNet-Square），证明了该片段表征的有效性。
• 多尺度输入在所有数据集上均提升了召回率与 F-measure，证实其在检测长文本与弯曲文本方面的优势。
• 可视化结果表明，PuzzleNet 即使对弯曲或梯形文本也能生成精确的多边形检测结果，验证了上下文图学习的有效性。