[论文解读] SmartPatch: Improving Handwritten Word Imitation with Patch Discriminators

Alexander Mattick, Martin Mayr+3 more|arXiv (Cornell University)|May 21, 2021

Handwritten Text Recognition Techniques参考文献 26被引用 24

一句话总结

本文提出 SmartPatch，一种新颖的基于补丁的判别器，通过整合字符级定位与识别系统注意力机制，减少笔画级伪影，从而提升手写单词生成的质量。通过在 GANwriting 框架中引入轻量级、知识增强的判别器，SmartPatch 显著提升了合成手写文本的真实感与可读性，在用户研究及 FID、识别准确率等定量指标上均优于当前最先进方法。

ABSTRACT

As of recent generative adversarial networks have allowed for big leaps in the realism of generated images in diverse domains, not the least of which being handwritten text generation. The generation of realistic-looking hand-written text is important because it can be used for data augmentation in handwritten text recognition (HTR) systems or human-computer interaction. We propose SmartPatch, a new technique increasing the performance of current state-of-the-art methods by augmenting the training feedback with a tailored solution to mitigate pen-level artifacts. We combine the well-known patch loss with information gathered from the parallel trained handwritten text recognition system and the separate characters of the word. This leads to a more enhanced local discriminator and results in more realistic and higher-quality generated handwritten words.

研究动机与目标

• 解决当前最先进离线手写单词生成模型中持续存在的笔画级伪影问题，此类问题降低了真实感与真实性。
• 提升合成手写单词的质量，用于手写文本识别（HTR）系统中的数据增强，尤其适用于历史文献分析。
• 开发一种轻量级、局部化的判别器，结合视觉补丁与识别系统注意力，以指导更精确、字符感知的生成。
• 通过多种指标验证生成结果的真实感与质量：FID、HTR 识别准确率以及通过用户研究进行的人工评估。
• 证明将并行 HTR 系统中的先验知识融入判别器，可显著提升生成结果的保真度，超越标准补丁损失方法。

提出的方法

• 在 GANwriting 框架基础上扩展新型局部补丁判别器，该判别器作用于以单个字符为中心的小图像裁剪区域。
• 提出三种变体：NaivePatch（滑动窗口）、CenteredPatch（由 HTR 系统注意力引导）以及 SmartPatch（注意力引导并结合真实字符位置）。
• 利用 HTR 系统的注意力图识别显著的字符区域，使判别器能够聚焦于局部笔画质量与字符结构。
• 将补丁判别器整合进 GAN 训练流程，作为额外损失项，联合优化全局真实感与局部字符保真度。
• 使用多组件损失训练生成器：对抗损失、写作者分类损失、HTR 识别损失以及新的基于补丁的对抗损失。
• 在评估过程中对所有生成图像与真实图像进行对齐与归一化，以消除对比度、基线或背景差异带来的偏差。

实验结果

研究问题

• RQ1 是否能够通过结合并行 HTR 系统注意力图的基于补丁的判别器，减少生成手写单词中的笔画级伪影？
• RQ2 在补丁判别器中整合真实字符位置是否能提升合成手写单词的真实感与可读性，相比标准补丁损失？
• RQ3 在 FID 分数、HTR 识别准确率与人类感知方面，所提出的 SmartPatch 方法相较于 GANwriting 与 lineGen 的表现如何？
• RQ4 人类感知在多大程度上更青睐可读性更高的合成手写文本，即使其笔画变化略显不自然？
• RQ5 FID 分数是否是评估手写文本生成的可靠指标？还是人类评估与 HTR 准确率更能反映感知真实感？

主要发现

• 在用户研究中，SmartPatch 的选择率达到 70.5%，显著优于 GANwriting（64.5%）与 lineGen（53.5%），表明其感知真实感更优。
• 对于短单词（1–3 个字符），SmartPatch 的选择率达到 72%，高于真实 IAM 图像的 54.4%，表明在紧凑形式下可读性与清晰度更优。
• 该方法有效减少了笔画级伪影，尤其在小中型单词中表现显著；GANwriting 在大单词（7–10 个字符）中的表现下降至 25% 以下。
• HTR 识别准确率证实，SmartPatch 生成的单词比 GANwriting 更易读，支持了局部判别能力提升可增强可读性的论断。
• 与 GANwriting 相比，SmartPatch 的 FID 分数更低，表明其生成结果与真实数据的分布更接近；尽管作者对 FID 在手写任务中的可靠性提出质疑。
• 总体上真实图像仍更受青睐（66.0% vs. GANwriting），但 SmartPatch 的表现最接近真实样本，尤其在短单词场景中。