[论文解读] SynthText3D: Synthesizing Scene Text Images from 3D Virtual Worlds

Minghui Liao, Boyu Song+4 more|arXiv (Cornell University)|Jul 13, 2019

Handwritten Text Recognition Techniques参考文献 47被引用 6

一句话总结

本文提出 SynthText3D，一种通过渲染可编辑光照、视角和遮挡的3D虚拟世界来生成逼真场景文本图像的新方法。与以往将文本贴在2D背景上的方法不同，SynthText3D 将文本与场景统一作为3D场景进行渲染，从而实现更优的视觉真实感，并在场景文本检测基准上以显著更少的训练数据达到最先进性能。

ABSTRACT

With the development of deep neural networks, the demand for a significant amount of annotated training data becomes the performance bottlenecks in many fields of research and applications. Image synthesis can generate annotated images automatically and freely, which gains increasing attention recently. In this paper, we propose to synthesize scene text images from the 3D virtual worlds, where the precise descriptions of scenes, editable illumination/visibility, and realistic physics are provided. Different from the previous methods which paste the rendered text on static 2D images, our method can render the 3D virtual scene and text instances as an entirety. In this way, real-world variations, including complex perspective transformations, various illuminations, and occlusions, can be realized in our synthesized scene text images. Moreover, the same text instances with various viewpoints can be produced by randomly moving and rotating the virtual camera, which acts as human eyes. The experiments on the standard scene text detection benchmarks using the generated synthetic data demonstrate the effectiveness and superiority of the proposed method. The code and synthetic data is available at: https://github.com/MhLiao/SynthText3D

研究动机与目标

• 解决真实世界场景文本训练数据有限且标注成本高昂的挑战。
• 弥合合成数据与真实世界场景文本图像之间的视觉真实感差距。
• 生成具有精确几何与语义属性的高质量合成场景文本数据。
• 生成如透视畸变、遮挡和光照变化等多样化、逼真的变化形式。
• 证明3D合成数据可优于或补充现有的2D合成数据集。

提出的方法

• 将不同字体的文本实例嵌入到3D虚拟世界中语义和几何上合适的位置。
• 使用图形引擎将包含文本和背景的3D场景整体渲染，以确保逼真的光照和可见性。
• 重新定位和重新定向虚拟相机，以生成多样化的视角，模拟人类视觉感知。
• 直接从3D引擎提取表面法线图，以指导文本的精确放置。
• 该方法利用30个不同的3D虚拟环境来生成多样的场景上下文。
• 使用一致的文本生成技术（例如语料库、色彩方案）生成合成数据，以确保与 SynthText 的公平比较。

实验结果

研究问题

• RQ1 与基于2D背景的合成方法相比，3D虚拟世界渲染能否生成更逼真的场景文本图像？
• RQ2 与现有合成数据集相比，3D合成数据在多大程度上能提升场景文本检测性能？
• RQ3 3D环境的多样性在多大程度上影响基于合成数据训练的模型的泛化能力和性能？
• RQ4 来自3D虚拟世界的合成数据能否与真实世界数据互补，并减少场景文本检测中的域偏移？
• RQ5 是否可能仅使用更少的训练图像，通过3D生成数据实现最先进性能？

主要发现

• 在 ICDAR 2015、ICDAR 2013 和 MLT 基准上，SynthText3D 的 F-measure 分别比 SynthText 提高了 20.0%、10.8% 和 11.1%。
• 即使仅使用10个场景的10,000张图像，SynthText3D 的性能也超过了 SynthText 使用800,000张图像的数据集。
• 将 SynthText3D 数据与真实世界数据结合，可在 ICDAR 2015 上实现 F-measure 1.4% 的提升，证明其在预训练中的有效性。
• 使用10个场景的5,000张图像与5,000张 VISD 图像联合训练可达到最佳性能，表明3D与2D合成数据之间具有良好的互补性。
• 增加30个虚拟环境的数量可带来显著的性能提升，表明3D数据多样性的潜力尚未被完全挖掘。
• 由于采用完整的3D场景渲染，该方法能生成逼真的遮挡、透视畸变和光照变化，而2D贴图方法则无法实现。