[论文解读] WarpGAN: Automatic Caricature Generation

Yichun Shi, Debayan Deb+1 more|arXiv (Cornell University)|Nov 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 5

一句话总结

WarpGAN 提出了一种基于 GAN 的框架，通过对抗性训练联合学习图像扭曲和纹理风格迁移，自动从人脸照片生成漫画像。它预测稀疏控制点以实现形状变形，并通过保留身份的对抗性损失保持身份特征，在感知质量和身份保留方面优于最先进方法。

ABSTRACT

We propose, WarpGAN, a fully automatic network that can generate caricatures given an input face photo. Besides transferring rich texture styles, WarpGAN learns to automatically predict a set of control points that can warp the photo into a caricature, while preserving identity. We introduce an identity-preserving adversarial loss that aids the discriminator to distinguish between different subjects. Moreover, WarpGAN allows customization of the generated caricatures by controlling the exaggeration extent and the visual styles. Experimental results on a public domain dataset, WebCaricature, show that WarpGAN is capable of generating a diverse set of caricatures while preserving the identities. Five caricature experts suggest that caricatures generated by WarpGAN are visually similar to hand-drawn ones and only prominent facial features are exaggerated.

研究动机与目标

• 开发一个完全自动化的漫画像生成系统，能够在夸张面部特征的同时保留身份特征。
• 解决漫画像合成中几何形变与纹理风格迁移的双重挑战，且无需依赖面部关键点。
• 实现对生成漫画像中夸张程度与视觉风格的可定制性。
• 相比现有基于 GAN 的风格迁移方法，提升生成漫画像的身份保留能力。
• 通过专家评估与人脸识别基准，评估生成漫画像的感知质量与真实感。

提出的方法

• WarpGAN 采用条件 GAN 框架，将形状变形与纹理风格迁移解耦为两个独立模块。
• 生成器预测一组稀疏控制点，以在图像空间中扭曲输入人脸图像，实现非线性几何失真。
• 通过非线性滤波机制，将漫画领域中的纹理风格迁移至扭曲图像，保留如皱纹等细粒度细节。
• 判别器使用保留身份的对抗性损失，将每个（身份，风格）对视为独立类别，以提升身份保留能力。
• 模型通过联合对抗性损失端到端训练，以鼓励生成逼真且多样的漫画像输出。
• 该框架无需面部关键点标注，而是依赖对抗目标和身份感知损失的隐式监督。

Figure 1: Example photos and caricatures of two subjects in our dataset. Column (a) shows each identity’s real face photo, while two generated caricatures of the same subjects by WarpGAN are shown in column (b) and (c). Caricatures drawn by artists are shown in the column (d) and (e).

实验结果

研究问题

• RQ1 深度学习模型能否在无需面部关键点或人工干预的情况下，自动从人脸照片生成漫画像？
• RQ2 联合学习框架在同时执行几何扭曲与纹理风格迁移时，身份保留能力有多强？
• RQ3 生成的漫画像在视觉质量与特征夸张程度上，与手绘漫画像的相似度如何？
• RQ4 与标准 GAN 相比，保留身份的对抗性损失是否能提升生成漫画像的识别准确率？
• RQ5 用户能否以有意义且可控的方式自定义生成漫画像的夸张程度与艺术风格？

主要发现

• 在专家评估中，WarpGAN 生成的漫画像有 99% 的时间被判定为与手绘漫画像视觉最相似，而 CycleGAN 和 MUNIT 仅为 0.5%。
• 在感知质量评估中，WarpGAN 的平均视觉质量得分为 5.61（满分 10），夸张程度得分为 4.87，显著优于 CycleGAN（2.43 和 2.27）与 MUNIT（1.82 和 1.83）。
• 在生成漫画像上的人脸识别准确率高于手绘漫画像，表明其具备强大的身份保留能力。
• 消融实验表明，若移除形变模块或纹理迁移模块，将导致结果坍塌或质量下降，证实了联合学习的必要性。
• 保留身份的对抗性损失通过将每个（身份，风格）对视为唯一类别，减少了判别器的混淆，提升了训练稳定性与输出多样性。
• 该模型能对同一张输入照片生成多样化的漫画像，证明了在夸张程度与视觉风格方面具备可控性。

(a) Global Parameters [ 14 ] [ 15 ] [ 16 ]