[论文解读] Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion

Minghui Liao, Zhisheng Zou+3 more|arXiv (Cornell University)|Feb 21, 2022

Handwritten Text Recognition Techniques被引用 12

一句话总结

本文提出DBNet++，一种实时场景文本检测器，通过在分割网络中联合优化二值化过程的可微二值化（DB）模块，以及通过自适应多尺度特征融合实现尺度鲁棒性的自适应尺度融合（ASF）模块，显著提升性能。该方法在五个基准测试中均达到最先进精度与速度，使用ResNet-18时在CTW1500上F-measure提升3.6%，在MSRA-TD500上提升2.9%，同时保持实时推理速度。

ABSTRACT

Recently, segmentation-based scene text detection methods have drawn extensive attention in the scene text detection field, because of their superiority in detecting the text instances of arbitrary shapes and extreme aspect ratios, profiting from the pixel-level descriptions. However, the vast majority of the existing segmentation-based approaches are limited to their complex post-processing algorithms and the scale robustness of their segmentation models, where the post-processing algorithms are not only isolated to the model optimization but also time-consuming and the scale robustness is usually strengthened by fusing multi-scale feature maps directly. In this paper, we propose a Differentiable Binarization (DB) module that integrates the binarization process, one of the most important steps in the post-processing procedure, into a segmentation network. Optimized along with the proposed DB module, the segmentation network can produce more accurate results, which enhances the accuracy of text detection with a simple pipeline. Furthermore, an efficient Adaptive Scale Fusion (ASF) module is proposed to improve the scale robustness by fusing features of different scales adaptively. By incorporating the proposed DB and ASF with the segmentation network, our proposed scene text detector consistently achieves state-of-the-art results, in terms of both detection accuracy and speed, on five standard benchmarks.

研究动机与目标

• 通过将二值化整合到训练流程中，解决基于分割的场景文本检测器后处理效率低、精度差的问题。
• 通过用自适应、注意力机制的特征融合替代固定多尺度特征融合，提升文本检测的尺度鲁棒性。
• 在保持实时推理速度的前提下，实现高检测精度，尤其适用于任意形状和极端长宽比的文本。
• 在会议版本DBNet的基础上，增强尺度泛化能力，并对DB模块提供理论分析。

提出的方法

• 引入可微二值化（DB）模块，将标准的基于阈值的二值化替换为可学习、可微的阈值图，实现端到端优化。
• 采用近似可微函数，利用预测的阈值图对分割图进行二值化，使反向传播能够通过二值化步骤。
• 提出自适应尺度融合（ASF）模块，结合阶段级注意力与空间注意力，根据内容与空间上下文动态加权多尺度特征。
• 将DB与ASF模块集成到基于分割的检测器架构中，实现分割、二值化与特征融合的联合优化。
• 采用U-Net风格的编码器-解码器主干网络，结合跳跃连接，以保留空间细节，实现精确的文本实例定位。
• 使用收缩图头生成DB模块的训练真值，将文本实例收缩至其中心线，以促进模型学习。

实验结果

研究问题

• RQ1 能否使二值化过程可微，并与分割网络联合优化，从而提升检测精度？
• RQ2 基于注意力机制的自适应多尺度特征融合是否比固定特征金字塔融合具有更好的尺度鲁棒性？
• RQ3 可微二值化与自适应尺度融合的结合能否在精度与推理速度两方面均实现最先进性能？
• RQ4 该模型在具有多样化尺度分布的数据集上，尤其是极端长宽比的场景中，表现如何？

主要发现

• DBNet++在CTW1500数据集上使用ResNet-18时，F-measure绝对提升3.6%，在MSRA-TD500上提升2.9%，展现出强大的尺度鲁棒性。
• 使用ResNet-50主干网络时，DBNet++在MLT-2019数据集上达到87.2的F-measure，较之前最先进方法提升1.3%。
• 模型保持实时推理速度，在MSRA-TD500数据集上使用ResNet-50时达到29 FPS，同时在精度上超越先前方法。
• ASF模块的性能增益与数据集的尺度多样性正相关，证实其在复杂多尺度场景中的有效性。
• DB模块减少了对启发式后处理的依赖，简化了模型流程，同时通过端到端训练提升了检测质量。
• 该方法在“文本内部包含文本”场景下表现不佳，这是基于分割的检测器的已知局限，尤其当一个文本实例完全包含在另一个中时更为明显。