[论文解读] ReLaText: Exploiting Visual Relationships for Arbitrary-Shaped Scene Text Detection with Graph Convolutional Networks

Chixiang Ma, Lei Sun+2 more|arXiv (Cornell University)|Mar 16, 2020

Handwritten Text Recognition Techniques参考文献 83被引用 4

一句话总结

ReLaText 提出了一种新颖的任意形状场景文本检测方法，通过图卷积网络（GCNs）将文本检测建模为视觉关系检测，以预测文本基本单元之间的连接关系。通过使用 GCNs 建模字符间及行间关系，该方法在五个基准数据集上实现了最先进性能，显著提升了对弯曲及不规则间距文本实例的检测准确率，优于以往方法。

ABSTRACT

We introduce a new arbitrary-shaped text detection approach named ReLaText by formulating text detection as a visual relationship detection problem. To demonstrate the effectiveness of this new formulation, we start from using a "link" relationship to address the challenging text-line grouping problem firstly. The key idea is to decompose text detection into two subproblems, namely detection of text primitives and prediction of link relationships between nearby text primitive pairs. Specifically, an anchor-free region proposal network based text detector is first used to detect text primitives of different scales from different feature maps of a feature pyramid network, from which a text primitive graph is constructed by linking each pair of nearby text primitives detected from a same feature map with an edge. Then, a Graph Convolutional Network (GCN) based link relationship prediction module is used to prune wrongly-linked edges in the text primitive graph to generate a number of disjoint subgraphs, each representing a detected text instance. As GCN can effectively leverage context information to improve link prediction accuracy, our GCN based text-line grouping approach can achieve better text detection accuracy than previous text-line grouping methods, especially when dealing with text instances with large inter-character or very small inter-line spacings. Consequently, the proposed ReLaText achieves state-of-the-art performance on five public text detection benchmarks, namely RCTW-17, MSRA-TD500, Total-Text, CTW1500 and DAST1500.

研究动机与目标

• 为解决检测任意形状场景文本（尤其是弯曲或不规则间距文本）的挑战，该问题仍对现有方法构成困难。
• 通过建模检测到的文本基本单元之间的上下文关系，而非依赖局部连接性或启发式分组方法，提升文本行分组的鲁棒性。
• 探索将视觉关系检测（特别是通过 GCNs 进行链接预测）作为场景文本检测的新范式。
• 在包含弯曲和密集排列文本实例的复杂基准上实现更优的检测准确率。

提出的方法

• 一种无锚点区域建议网络从特征金字塔网络的特征图中检测各种尺度的文本基本单元。
• 通过在相同特征图中检测到的相邻文本基本单元之间建立边，构建文本基本单元图。
• 使用图卷积网络（GCN）预测文本基本单元对之间的链接关系，有效剔除虚假连接。
• GCN 利用图中的上下文信息提升链接预测准确率，尤其在字符间距较大或行间距较小时表现更优。
• 链接剪枝后形成的不相交子图即为检测到的文本实例，随后用于生成最终的多边形边界框。
• 该方法端到端进行训练，并在五个公开基准上进行评估，同时对 GCN 深度和链接预测组件进行了消融研究。

实验结果

研究问题

• RQ1 视觉关系检测（特别是链接预测）能否有效应用于改进任意形状场景文本检测中的文本行分组？
• RQ2 与基于 8 邻域连接性和基于连接的分组等传统方法相比，基于 GCN 的链接预测在准确率和鲁棒性方面表现如何？
• RQ3 通过 GCN 建模长距离上下文关系是否能提升对弯曲或不规则间距文本实例的检测性能？
• RQ4 在链接预测模块中，GCN 和 MLP 组件的最佳架构深度是多少，以在准确率与效率之间取得最佳平衡？

主要发现

• ReLaText 在五个公开基准上达到最先进性能：RCTW-17（68.1% F-score）、MSRA-TD500（83.3% F-score）、Total-Text（84.8% F-score）、CTW1500（84.8% F-score）和 DAST1500（84.0% F-score）。
• 与先前的关系网络方法相比，基于 GCN 的链接预测方法在 Total-Text 上将 F-score 提升 1.0%（83.8% → 84.8%），在 RCTW-17 上提升 1.1%（67.0% → 68.1%）。
• 该方法显著优于 8 邻域连接性和基于连接的分组方法，CTW1500 上的 F-score 分别为 82.6% 和 82.7%，而 ReLaText 达到 84.8%。
• 消融研究显示，GCN 深度为 3、MLP 深度为 2 时，在性能与效率之间达到最佳平衡。
• ReLaText 在字符间距较大或行间距极小时表现出更优的鲁棒性，而此前方法常在此类情况下失效。
• 失败案例主要集中在模糊布局和极小文本上，这些问题对大多数最先进方法仍具挑战性。