[论文解读] SGCE-Font: Skeleton Guided Channel Expansion for Chinese Font Generation

Jie Zhou, Yefei Wang+3 more|arXiv (Cornell University)|Nov 26, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出SGCE-Font，一种新颖的骨架引导通道扩展模块，通过在生成器中利用通道扩展将结构骨架信息整合到GAN的生成器中，有效缓解了模式崩溃问题。该方法显著提升了生成质量，并在多种模型上实现良好泛化，在FID、MSE、PSNR和SSIM等关键指标上优于当前最先进方法。

ABSTRACT

The automatic generation of Chinese fonts is an important problem involved in many applications. The predominated methods for the Chinese font generation are based on the deep generative models, especially the generative adversarial networks (GANs). However, existing GAN-based methods (say, CycleGAN) for the Chinese font generation usually suffer from the mode collapse issue, mainly due to the lack of effective guidance information. This paper proposes a novel information guidance module called the skeleton guided channel expansion (SGCE) module for the Chinese font generation through integrating the skeleton information into the generator with the channel expansion way, motivated by the observation that the skeleton embodies both local and global structure information of Chinese characters. We conduct extensive experiments to show the effectiveness of the proposed module. Numerical results show that the mode collapse issue suffered by the known CycleGAN can be effectively alleviated by equipping with the proposed SGCE module, and the CycleGAN equipped with SGCE outperforms the state-of-the-art models in terms of four important evaluation metrics and visualization quality. Besides CycleGAN, we also show that the suggested SGCE module can be adapted to other models for Chinese font generation as a plug-and-play module to further improve their performance.

研究动机与目标

• 解决基于GAN的中文字符生成中长期存在的模式崩溃问题，特别是在CycleGAN等无监督设置下的问题。
• 利用结构骨架信息——捕捉字符的局部与全局结构特征——作为有效的引导信号，以稳定训练过程。
• 开发一种即插即用的模块，无需对现有模型架构进行大规模修改，即可提升多种字体转换任务的性能。
• 证明通过通道扩展在生成器端注入结构信息，比在判别器端注入结构信息更为有效。
• 验证该方法在多种最先进模型（包括CycleGAN、UGATIT、StrokeGAN和FUNIT）上的泛化潜力。

提出的方法

• 提出一种骨架引导的通道扩展（SGCE）模块，通过通道拼接与1×1卷积操作，将骨架图与特征图在生成器中融合。
• 利用基于笔画拓扑结构提取的二值骨架图表示中文字符，以保留精细的局部细节与全局结构布局。
• 通过可学习的通道扩展机制，将骨架信息直接注入生成器的特征空间，使生成器在合成过程中能够关注结构先验信息。
• 设计SGCE模块以兼容多种GAN架构，支持即插即用式集成到现有模型中。
• 采用对抗损失、循环一致性损失与感知损失进行联合训练，同时通过骨架监督增强生成器的特征学习能力。
• 采用多尺度策略，确保在生成过程中，局部笔画模式与整体字符形状均得到有效引导。

实验结果

研究问题

• RQ1 基于骨架的结构引导是否能有效减少在CycleGAN框架下无监督中文字符生成中的模式崩溃？
• RQ2 通过通道扩展在生成器端注入结构信息，是否比在判别器端进行结构引导更为有效？
• RQ3 SGCE模块是否可在多种不同的GAN架构中实现泛化并提升性能？
• RQ4 与现有方法如StrokeGAN和SQ-GAN相比，SGCE模块在定量指标与视觉质量方面表现如何？
• RQ5 骨架信息的引入是否能提升生成字符的准确性与多样性，特别是在未见或复杂字符上的表现？

主要发现

• 所提出的SGCE-Font模型在所有字体转换任务中均取得最佳平均FID得分，在{hc → ls}任务中达到24.959的FID，在{zk → zx}任务中达到21.837，显著优于基线CycleGAN。
• 在{ls → hc}任务中，SGCE-Font实现了最低的FID（33.283）与MSE（0.114），表明其具有更优的图像质量与重建保真度。
• 与原始CycleGAN相比，SGCE模块将FID降低高达40%，充分证明其对模式崩溃的强抑制能力。
• 当应用于StrokeGAN、UGATIT与FUNIT等其他模型时，SGCE模块在多个任务中持续提升FID、MSE、PSNR与SSIM指标。
• 图9与图10的视觉对比显示，SGCE-Font生成的字符更清晰、结构更准确，尤其在复杂或罕见字符上表现突出。
• 消融实验结果证实，将骨架特征在生成器中进行通道扩展，比其他引导策略（如判别器注入或注意力机制）更为有效。