[论文解读] Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild

Canjie Luo, Qingxiang Lin+3 more|arXiv (Cornell University)|Jan 13, 2020

Handwritten Text Recognition Techniques参考文献 57被引用 4

一句话总结

本文提出了一种新颖的对抗性学习框架，通过将场景图像中的文本内容与复杂背景分离，以提高文本识别的准确性。通过利用基于注意力的识别器和具有字符级别对抗训练及反馈机制的生成对抗网络，该方法仅使用未配对的图像和文本标签，实现了最先进（SOTA）的性能，显著降低了识别难度，且无需像素级标注或配对数据。

ABSTRACT

We propose to improve text recognition from a new perspective by separating the text content from complex backgrounds. As vanilla GANs are not sufficiently robust to generate sequence-like characters in natural images, we propose an adversarial learning framework for the generation and recognition of multiple characters in an image. The proposed framework consists of an attention-based recognizer and a generative adversarial architecture. Furthermore, to tackle the issue of lacking paired training samples, we design an interactive joint training scheme, which shares attention masks from the recognizer to the discriminator, and enables the discriminator to extract the features of each character for further adversarial training. Benefiting from the character-level adversarial training, our framework requires only unpaired simple data for style supervision. Each target style sample containing only one randomly chosen character can be simply synthesized online during the training. This is significant as the training does not require costly paired samples or character-level annotations. Thus, only the input images and corresponding text labels are needed. In addition to the style normalization of the backgrounds, we refine character patterns to ease the recognition task. A feedback mechanism is proposed to bridge the gap between the discriminator and the recognizer. Therefore, the discriminator can guide the generator according to the confusion of the recognizer, so that the generated patterns are clearer for recognition. Experiments on various benchmarks, including both regular and irregular text, demonstrate that our method significantly reduces the difficulty of recognition. Our framework can be integrated into recent recognition methods to achieve new state-of-the-art recognition accuracy.

研究动机与目标

• 为降低由复杂背景、任意形状和字体变化引起的场景文本识别难度。
• 解决在文本图像生成中图像到图像翻译缺乏配对训练数据的问题。
• 通过在字符级别保留文本内容的同时标准化背景风格，提升识别准确性。
• 实现仅使用输入图像和对应文本标签的端到端训练，避免昂贵的像素级标注。
• 在判别器与识别器之间开发一种反馈机制，通过识别混淆提升生成质量。

提出的方法

• 该框架采用基于注意力的识别器以提取字符级别的特征，并指导对抗训练。
• 训练生成对抗网络（GAN）以去除复杂背景，同时保留文本内容，仅使用未配对的真实图像和文本标签。
• 采用交互式联合训练方案，将识别器生成的注意力掩码传递给判别器，实现字符级别的监督。
• 判别器通过识别器的混淆信息进行引导，优化生成图像以产生更清晰、更易识别的字符模式。
• 在训练过程中通过随机选择单个字符在线合成目标风格样本，从而无需大规模配对数据。
• 设计一种识别器与判别器之间的反馈机制，使生成器能够生成对识别错误更具鲁棒性的图像。

实验结果

研究问题

• RQ1 对抗性学习能否在无需配对训练数据的情况下，有效实现从场景图像中分离出文本内容与复杂背景？
• RQ2 与全局、粗粒度的GAN相比，字符级别的对抗性监督在提升生成文本图像保真度方面有何优势？
• RQ3 识别器与判别器之间的反馈机制是否能增强生成文本模式的清晰度与可识别性？
• RQ4 背景风格标准化在多大程度上提升了真实世界基准上的识别准确率？
• RQ5 所提出的方法能否被集成到现有识别框架中，仅通过最小修改即实现最先进性能？

主要发现

• 所提方法在多个基准上实现了新的最先进识别准确率，包括在SVT-P数据集上实现了6.0%的相对提升。
• 即使仅在合成数据上进行训练，该方法仍优于在真实数据上训练的基线模型，证明了背景风格标准化的有效性。
• 将真实数据（5万张样本）与合成数据结合可进一步提升性能，表明该方法泛化能力强，且能有效减小域差距。
• 使用在线合成的目标风格样本（单个字符）可实现有效训练，且无需大规模配对数据集。
• 识别器与判别器之间的反馈机制使字符模式更加清晰，减少了识别混淆，提升了鲁棒性。
• 实验表明，RGB空间生成并不优于灰度图像，表明关键挑战在于细粒度监督，而非颜色表示。