[论文解读] Symmetry-constrained Rectification Network for Scene Text Recognition

Mingkun Yang, Yushuo Guan+6 more|arXiv (Cornell University)|Aug 6, 2019

Handwritten Text Recognition Techniques被引用 19

一句话总结

该论文提出了一种对称性约束的校正网络（ScRN），通过利用中心线、方向和尺度信息在文本校正中强制执行几何对称性，从而提升场景文本识别性能。通过显式引入对称性约束来建模文本形状，ScRN在不规则文本上实现了最先进性能，相较于ASTER在ICDAR 2015上提升2.6%准确率，在CUTE80上提升8%，表现优异。

ABSTRACT

Reading text in the wild is a very challenging task due to the diversity of text instances and the complexity of natural scenes. Recently, the community has paid increasing attention to the problem of recognizing text instances with irregular shapes. One intuitive and effective way to handle this problem is to rectify irregular text to a canonical form before recognition. However, these methods might struggle when dealing with highly curved or distorted text instances. To tackle this issue, we propose in this paper a Symmetry-constrained Rectification Network (ScRN) based on local attributes of text instances, such as center line, scale and orientation. Such constraints with an accurate description of text shape enable ScRN to generate better rectification results than existing methods and thus lead to higher recognition accuracy. Our method achieves state-of-the-art performance on text with both regular and irregular shapes. Specifically, the system outperforms existing algorithms by a large margin on datasets that contain quite a proportion of irregular text instances, e.g., ICDAR 2015, SVT-Perspective and CUTE80.

研究动机与目标

• 为解决自然场景中不规则形状文本识别的挑战，该挑战因弯曲、形变和复杂背景而难以处理。
• 通过引入中心线、方向和尺度等几何先验信息，提升不规则文本的校正质量。
• 设计一种轻量化、可微分的校正模块，在不显著增加计算开销的前提下提升识别准确率。
• 在标准基准测试中实现最先进性能，尤其在不规则文本实例占比高的数据集上表现突出。

提出的方法

• 该方法采用基于分割的网络，根据文本中心线的局部几何属性预测用于文本校正的控制点。
• 通过利用字符的方向和尺度信息，将控制点约束为关于中心线空间对称，从而实现对称性强制。
• 网络仅由两个卷积层构成，具有轻量化特性，便于与现有文本识别器集成。
• 校正过程是可微分的，可与识别模型端到端联合训练，从而改善对齐效果和特征学习。
• 该方法利用词级别监督，并从自动生成的字符级别标注中获益，提升训练效率。
• 通过连续的中心线表示，灵活建模文本形状，能够适应从直线到高度弯曲的各类文本形态。

实验结果

研究问题

• RQ1 显式引入对称性约束是否能提升在高度弯曲或形变严重的场景中文本校正的鲁棒性与准确性？
• RQ2 引入中心线方向和字符尺度等几何属性对校正质量有何影响？
• RQ3 轻量化、可微分的校正模块是否能在不增加计算成本的前提下实现最先进性能？
• RQ4 与现有基于STN的校正网络相比，该方法在不规则文本基准上的性能提升程度如何？

主要发现

• ScRN在七个标准场景文本识别基准上达到最先进性能，12项结果中有6项为所有对比方法中的最佳。
• 在ICDAR 2015数据集上，ScRN相较于ASTER提升2.6%准确率，表明其在不规则文本上具有强大鲁棒性。
• 在CUTE80数据集上，ScRN相较ASTER实现8%的性能提升，凸显其在高度弯曲和形变文本上的有效性。
• 即使在无词典约束条件下，ScRN在IIIT5K、IC03和IC13上的准确率分别提升1%、0.5%和2.1%。
• 在SVTP数据集上，ScRN相较ASTER提升2.3%，进一步证实其在挑战性不规则文本上的优越性。
• 尽管在SVT上性能略有下降（比ASTER低0.6%），模型仍具竞争力，失败案例主要归因于左侧字符遮挡及单向解码策略。