[论文解读] RewriteNet: Realistic Scene Text Image Generation via Editing Text in Real-world Image

Junyeop Lee, Yoonsik Kim+5 more|arXiv (Cornell University)|Jul 23, 2021

Handwritten Text Recognition Techniques参考文献 47被引用 6

一句话总结

RewriteNet 是一种新颖的场景文本编辑模型，通过使用文本识别器进行内容编码以及从原始图像中提取风格特征，实现了在真实图像中内容与风格特征的解耦，从而实现高保真度的文本替换。该模型通过自监督训练方案利用真实图像，显著缩小了合成数据与真实数据之间的域差距，实现了最先进性能。

ABSTRACT

Scene text editing (STE), which converts a text in a scene image into the desired text while preserving an original style, is a challenging task due to a complex intervention between text and style. To address this challenge, we propose a novel representational learning-based STE model, referred to as RewriteNet that employs textual information as well as visual information. We assume that the scene text image can be decomposed into content and style features where the former represents the text information and style represents scene text characteristics such as font, alignment, and background. Under this assumption, we propose a method to separately encode content and style features of the input image by introducing the scene text recognizer that is trained by text information. Then, a text-edited image is generated by combining the style feature from the original image and the content feature from the target text. Unlike previous works that are only able to use synthetic images in the training phase, we also exploit real-world images by proposing a self-supervised training scheme, which bridges the domain gap between synthetic and real data. Our experiments demonstrate that RewriteNet achieves better quantitative and qualitative performance than other comparisons. Moreover, we validate that the use of text information and the self-supervised training scheme improves text switching performance. The implementation and dataset will be publicly available.

研究动机与目标

• 解决真实图像中文本与风格相互依赖的逼真场景文本编辑（STE）挑战。
• 克服先前方法因合成训练数据与真实测试图像之间存在域差距而受到的限制。
• 开发一种在准确替换文本内容的同时，保留原始图像风格（如字体、对齐方式、背景）的方法。
• 实现在无需成对真实图像到真实图像标注的情况下，基于真实图像进行训练，从而减少对合成数据的依赖。

提出的方法

• 利用解耦表示学习框架，将场景文本图像分解为内容特征（文本内容）和风格特征（字体、对齐方式、背景）。
• 训练一个场景文本识别器，从输入图像中提取内容特征，实现对文本表示的准确学习。
• 使用卷积编码器从原始图像中编码风格特征，以保留视觉特性。
• 通过将原始风格特征与目标文本的内容特征相结合，生成编辑后的图像。
• 实施一种自监督训练方案，通过重建损失和对比学习目标，利用真实图像进行训练。
• 通过在合成数据和真实数据两个领域上联合训练，利用自监督方案缩小两者之间的域差距。

实验结果

研究问题

• RQ1 解耦表示学习方法能否有效分离场景文本图像中的文本内容与视觉风格？
• RQ2 将场景文本识别器中的文本信息整合进来，对文本编辑的保真度和准确性有何提升作用？
• RQ3 在真实图像上进行自监督训练，在多大程度上能减少域差距，并提升在真实测试数据上的性能？
• RQ4 所提出的方法是否在真实场景文本编辑任务中，于定量指标和定性逼真度方面均优于现有基线方法？

主要发现

• 与现有方法相比，RewriteNet 在场景文本编辑基准测试中取得了更优的定量性能。
• 通过文本识别实现内容编码的整合，显著提升了文本替换的准确性。
• 自监督训练方案有效利用了真实图像，减少了对合成数据的依赖，并提升了泛化能力。
• 该模型展现出强大的定性结果，能够生成保留字体、对齐方式和背景一致性的逼真编辑效果。
• 消融实验表明，文本信息的使用和自监督训练方案均对提升文本切换性能有显著贡献。
• 模型实现与数据集将公开发布，以支持可复现性与进一步研究。