[论文解读] Verisimilar Image Synthesis for Accurate Detection and Recognition of Texts in Scenes

Fangneng Zhan, Shijian Lu+1 more|arXiv (Cornell University)|Jul 9, 2018

Handwritten Text Recognition Techniques参考文献 49被引用 11

一句话总结

本文提出了一种逼真的图像合成技术，用于生成逼真且带标注的场景文本图像，以训练鲁棒的深度学习模型进行文本检测与识别。通过利用语义一致性、视觉显著性以及自适应文本外观模型，该方法生成了500万张高质量图像，在多个基准数据集上显著提升了最先进性能。

ABSTRACT

The requirement of large amounts of annotated images has become one grand challenge while training deep neural network models for various visual detection and recognition tasks. This paper presents a novel image synthesis technique that aims to generate a large amount of annotated scene text images for training accurate and robust scene text detection and recognition models. The proposed technique consists of three innovative designs. First, it realizes "semantic coherent" synthesis by embedding texts at semantically sensible regions within the background image, where the semantic coherence is achieved by leveraging the semantic annotations of objects and image regions that have been created in the prior semantic segmentation research. Second, it exploits visual saliency to determine the embedding locations within each semantic sensible region, which coincides with the fact that texts are often placed around homogeneous regions for better visibility in scenes. Third, it designs an adaptive text appearance model that determines the color and brightness of embedded texts by learning from the feature of real scene text images adaptively. The proposed technique has been evaluated over five public datasets and the experiments show its superior performance in training accurate and robust scene text detection and recognition models.

研究动机与目标

• 解决深度神经网络在场景文本任务中受限于标注训练数据的瓶颈问题。
• 生成大规模、逼真且准确标注的场景文本图像，用于训练鲁棒的检测与识别模型。
• 通过合成模拟真实世界文本布局与外观的图像，提升模型泛化能力。
• 通过智能图像合成实现数据增强，减少对昂贵人工标注的依赖。
• 利用合成数据在场景文本检测与识别任务中实现最先进性能。

提出的方法

• 利用预存在的语义分割标注，在语义一致的区域嵌入文本，以确保上下文合理性。
• 使用视觉显著性图识别语义区域内的最优、同质区域用于文本放置，提升可见性与真实感。
• 根据局部背景特征自适应调整文本颜色与亮度，从真实场景文本统计中学习，以提升视觉一致性。
• 结合语义图与显著性图，引导在背景图像中实现精确且自然的文本嵌入位置。
• 通过将三组件框架应用于多样化背景图像，生成500万张合成的场景文本图像。
• 使用真实数据与合成图像联合训练检测与识别模型，以评估性能提升效果。

实验结果

研究问题

• RQ1 文本放置的语义一致性是否能提升合成场景文本图像的真实感与实用性？
• RQ2 引入视觉显著性是否能增强合成图像中嵌入文本的自然感与可检测性？
• RQ3 一种从真实场景文本特征中学习的自适应外观模型，能否提升合成文本的视觉保真度？
• RQ4 该方法生成的合成数据在多大程度上提升了公共基准测试集上的检测与识别性能？
• RQ5 与以往的数据增强技术相比，该方法在模型准确率与泛化能力方面表现如何？

主要发现

• 所提方法在五个公开基准数据集的场景文本检测与识别任务中均达到最先进性能。
• 在ICDAR2013数据集上，场景文本识别准确率（CRW）从仅使用真实数据的基线31.2%提升至使用500万张合成图像训练后的87.1%。
• 在IIIT5K数据集上，无词典时CRW达到79.3%，使用1K词典大小时达到95.3%，显著优于基线模型。
• 在SVT数据集上，使用合成数据训练的模型在50词典大小下达到96.7%的CRW，展现出强大的泛化能力。
• 使用本方法合成数据训练的模型（CRNN (Real+Ours 5M)）在所有数据集上均优于使用Jaderberg et al.与Gupta et al.合成数据训练的模型。
• 在ICDAR2013数据集上，使用50词典大小时，识别准确率达到98.1%，超越了此前使用800万张合成图像的最先进模型。