[论文解读] Weakly-supervised Caricature Face Parsing through Domain Adaptation

Wenqing Chu, Wei-Chih Hung+3 more|arXiv (Cornell University)|May 13, 2019

Face recognition and analysis参考文献 27被引用 6

一句话总结

该论文提出了一种弱监督域自适应框架，用于漫画脸部分割，通过分别对形状和纹理进行适应，从真实照片合成类似漫画的图像。利用空间变换网络进行形状夸张，利用前馈风格迁移网络实现纹理对齐，该方法能够有效将真实照片分割数据集的知识迁移到真实漫画上，在合成漫画数据集上达到73.38 mIoU的最先进性能，在真实WebCaricature数据集上达到64.23 mIoU。

ABSTRACT

A caricature is an artistic form of a person's picture in which certain striking characteristics are abstracted or exaggerated in order to create a humor or sarcasm effect. For numerous caricature related applications such as attribute recognition and caricature editing, face parsing is an essential pre-processing step that provides a complete facial structure understanding. However, current state-of-the-art face parsing methods require large amounts of labeled data on the pixel-level and such process for caricature is tedious and labor-intensive. For real photos, there are numerous labeled datasets for face parsing. Thus, we formulate caricature face parsing as a domain adaptation problem, where real photos play the role of the source domain, adapting to the target caricatures. Specifically, we first leverage a spatial transformer based network to enable shape domain shifts. A feed-forward style transfer network is then utilized to capture texture-level domain gaps. With these two steps, we synthesize face caricatures from real photos, and thus we can use parsing ground truths of the original photos to learn the parsing model. Experimental results on the synthetic and real caricatures demonstrate the effectiveness of the proposed domain adaptation algorithm. Code is available at: https://github.com/ZJULearning/CariFaceParsing .

研究动机与目标

• 解决面部分割任务中缺乏大规模、像素级标注的漫画数据集的问题。
• 克服真实照片与漫画之间在面部组件分割任务中因域偏移带来的挑战。
• 通过利用现有的真实照片分割数据集作为源域，实现弱监督学习。
• 在无需目标域手动标注的情况下，提升真实漫画上的分割性能。

提出的方法

• 利用空间变换网络，基于漫画关键点的弱监督信号，建模并适应漫画中的形状域偏移。
• 应用前馈风格迁移网络，捕捉并迁移真实照片与漫画之间的纹理差异。
• 通过两阶段适应过程，从真实人脸照片生成合成的类似漫画图像，实现图像级域自适应。
• 在合成的漫画图像上训练语义分割网络，利用源真实照片数据集的真值分割标签。
• 采用Wasserstein GAN结合梯度惩罚来稳定形状适应网络的训练。
• 在适配后的数据上训练分割网络时，采用多项式学习率策略和ADAM优化器。

实验结果

研究问题

• RQ1 尽管存在显著的形状与纹理差异，域自适应是否能有效将真实照片的面部分割知识迁移到漫画上？
• RQ2 与端到端图像翻译方法相比，分别建模形状与纹理适应如何提升分割性能？
• RQ3 来自关键点的弱监督在多大程度上提升了漫画生成中的形状适应能力？
• RQ4 与现有域自适应基线相比，所提方法在真实世界漫画上的泛化能力是否更优？

主要发现

• 在合成的HELEN-Cari数据集上，所提方法达到73.38% mIoU，显著优于无适应（49.36%）和仅使用CycleGAN适应（57.68%）的模型。
• 在真实WebCaricature数据集上，方法达到64.23% mIoU，超越所有基线模型，包括在有限人工标注上训练的AdaptSegNet（58.48%）和Cari-Cross（56.29%）。
• 消融实验表明，形状与纹理适应均贡献显著，其中仅形状适应达65.19% mIoU，仅纹理适应达62.78% mIoU。
• 图3的定性结果表明，与CycleGAN和AdaptSegNet相比，所提方法在眉毛和嘴巴等区域的分割更准确，后者在大形状变化下表现不佳。
• 在HELEN-Cari（合成数据）上训练的模型能很好地泛化到真实漫画，证明了域自适应流程的有效性。
• 该框架通过分两阶段处理几何（形状）与外观（纹理）差异，有效缓解了域偏移。