[论文解读] Photo-to-Caricature Translation on Faces in the Wild.

Ziqiang Zheng, Haiyong Zheng+3 more|arXiv (Cornell University)|Nov 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 7

一句话总结

本文提出一种双路径条件生成对抗网络（dual-pathway conditional GAN），结合并行卷积网络，用于在野外环境下的照片到漫画像转换，通过全局判别器与局部判别器结合ParConv，以同时保留结构与细节。该方法通过对抗损失、身份一致性、循环一致性及风格控制，实现最先进性能，显著提升生成漫画像的真实感与夸张程度。

ABSTRACT

Recently, image-to-image translation has been made much progress owing to the success of conditional Generative Adversarial Networks (cGANs). However, it's still very challenging for translation tasks with the requirement of high-level visual information conversion, such as photo-to-caricature translation that requires satire, exaggeration, lifelikeness and artistry. We present an approach for learning to translate faces in the wild from the source photo domain to the target caricature domain with different styles, which can also be used for other high-level image-to-image translation tasks. In order to capture global structure with local statistics while translation, we design a dual pathway model of cGAN with one global discriminator and one patch discriminator. Beyond standard convolution (Conv), we propose a new parallel convolution (ParConv) to construct Parallel Convolutional Neural Networks (ParCNNs) for both global and patch discriminators, which can combine the information from previous layer with the current layer. For generator, we provide three more extra losses in association with adversarial loss to constrain consistency for generated output itself and with the target. Also the style can be controlled by the input style info vector. Experiments on photo-to-caricature translation of faces in the wild show considerable performance gain of our proposed method over state-of-the-art translation methods as well as its potential real applications.

研究动机与目标

• 解决图像到图像翻译中高层次视觉转换的挑战，特别是需要讽刺、夸张与艺术风格化的照片到漫画像转换任务。
• 克服现有条件生成对抗网络（cGAN）在漫画像生成过程中难以同时捕捉全局面部结构与局部面部细节的局限性。
• 通过在生成器中引入风格信息向量，实现可调控的风格化输出，以生成多样化的漫画像。
• 通过引入超越对抗损失的额外损失函数，提升生成漫画像的保真度与一致性。
• 开发一种可扩展的框架，适用于除照片到漫画像转换之外的其他高层次图像翻译任务。

提出的方法

• 提出一种双路径条件生成对抗网络（cGAN）架构，包含全局判别器与基于图像块的判别器，以联合捕捉全局面部布局与局部面部纹理细节。
• 提出并行卷积（ParConv），一种新型卷积操作，通过在并行路径中融合前一和当前层的特征，实现在不同层之间的特征融合。
• 利用ParConv构建并行卷积神经网络（ParCNNs），分别应用于全局判别器与图像块判别器，以增强特征表示学习能力。
• 在对抗损失之外，整合三种辅助损失——身份一致性损失、循环一致性损失与感知损失，以稳定训练过程并提升输出质量。
• 将风格信息向量作为条件输入嵌入生成器，实现对输出漫画像的风格化程度与艺术风格的可控调节。
• 在非受限的人脸图像（即野外数据）上端到端训练模型，以实现对多样化身份、姿态与光照条件的泛化能力。

实验结果

研究问题

• RQ1 双路径cGAN架构是否能有效平衡照片到漫画像转换中全局面部结构的保留与局部细节的夸张？
• RQ2 与标准卷积相比，所提出的ParConv操作在高层次图像翻译任务中在特征表示方面有多大的提升？
• RQ3 身份一致性与循环一致性损失，以及感知损失的引入，对生成漫画像的真实感与风格化质量有何影响？
• RQ4 通过引入可学习的风格向量，是否能够实现基于同一张输入照片生成多样化风格的漫画像？
• RQ5 所提出的方法是否在非受限、真实世界的人脸数据集上优于现有的最先进图像到图像翻译模型？

主要发现

• 所提方法在照片到漫画像转换的基准测试中，显著超越了现有最先进图像到图像翻译模型的性能。
• 双路径判别器设计同时提升了结构保真度与局部细节的夸张表现，生成的漫画像更具真实感与艺术表现力。
• ParConv通过实现跨层特征融合，增强了特征学习能力，有助于更准确地表征面部纹理与形状。
• 对抗损失与身份一致性、循环一致性及感知损失的结合，带来了更稳定的训练过程与更高质量的输出结果。
• 通过在不同风格向量下进行条件控制，模型成功生成了多样化的漫画像风格，证明了其有效的风格控制能力。
• 该方法在非受限的真实世界人脸图像（即野外数据）上表现出良好的泛化能力，对姿态、光照与面部表情的变化具有强鲁棒性。