[论文解读] Personalized and Occupational-aware Age Progression by Generative Adversarial Networks

Siyu Zhou, Weiqiang Zhao+5 more|arXiv (Cornell University)|Nov 26, 2017

Face recognition and analysis参考文献 6被引用 15

一句话总结

本文提出了一种职业感知的生成对抗网络（OAFA），用于个性化人脸年龄进展，同时建模个体面部特征和与职业相关的皮肤纹理变化。通过引入一个新颖的职业人脸老化数据集（OFAD）并整合个性化与职业感知的对抗损失，该方法生成的多职业老化结果比当前最先进方法更加逼真。

ABSTRACT

Face age progression, which aims to predict the future looks, is important for various applications and has been received considerable attentions. Existing methods and datasets are limited in exploring the effects of occupations which may influence the personal appearances. In this paper, we firstly introduce an occupational face aging dataset for studying the influences of occupations on the appearances. It includes five occupations, which enables the development of new algorithms for age progression and facilitate future researches. Second, we propose a new occupational-aware adversarial face aging network, which learns human aging process under different occupations. Two factors are taken into consideration in our aging process: personality-preserving and visually plausible texture change for different occupations. We propose personalized network with personalized loss in deep autoencoder network for keeping personalized facial characteristics, and occupational-aware adversarial network with occupational-aware adversarial loss for obtaining more realistic texture changes. Experimental results well demonstrate the advantages of the proposed method by comparing with other state-of-the-arts age progression methods.

研究动机与目标

• 研究职业对面部老化的影响，特别是皮肤纹理变化。
• 解决现有年龄进展方法仅能为每个人生成单一未来外观的局限性。
• 开发一种深度生成模型，能够从单张输入人脸生成多个、与职业相关的老化结果。
• 在准确建模与职业相关的老化效应的同时，保持个体面部身份特征。
• 创建一个用于职业人脸老化研究的基准数据集。

提出的方法

• 提出一种条件生成对抗网络（OAFA），根据职业条件生成年龄进展的人脸。
• 采用基于深度自编码器的个性化网络，并引入个性化损失，以重建原始人脸并保持身份特征。
• 引入一种职业感知的对抗网络，采用双组件损失：条件对抗损失和三元组排序损失，以实现逼真的纹理建模。
• 使用三元组排序损失，强制同一人在不同职业下的生成图像在语义上保持相似，从而提升职业一致性。
• 通过共享编码器和条件监督，训练生成器为每个输入生成五个不同的年龄进展输出，每个职业一个。
• 利用新引入的、全面标注的职业人脸老化数据集（OFAD），包含五种职业和两个年龄组（30–50，50–80）。

实验结果

研究问题

• RQ1 不同职业在视觉上如何影响面部老化的外观，特别是皮肤纹理方面？
• RQ2 深度生成模型能否为单一个体生成多个逼真的年龄进展人脸，每个均反映不同的职业？
• RQ3 在职业感知的老化过程中，个性化面部身份特征能在多大程度上得以保持？
• RQ4 个性化损失与职业感知对抗损失的结合，在提升生成老化人脸的真实感和一致性方面有多有效？
• RQ5 一个新创建的、带有职业标注的数据集能否提升年龄进展模型的评估与开发？

主要发现

• 所提出的OAFA方法在用户研究中达到了60.32%的识别率，参与者判断生成图像与真实图像为同一人。
• 在对比用户研究中，61.35%的参与者更偏好OAFA生成的图像，而非CAAE生成的图像，表明其在真实感和老化细节方面表现更优。
• 消融研究显示，若移除三元组排序损失，职业一致性显著下降，证实其在建模职业特异性老化中的关键作用。
• 增加个性化损失权重（λ）可提升身份保持能力，但会降低老化和职业特异性，表明身份保持与真实感之间存在权衡。
• 该方法成功生成了细节丰富的皮肤纹理，如皱纹和斑点，且在不同职业间表现出有意义的差异，尤其在老年组中更为明显。
• OFAD数据集包含5种职业和2个年龄范围，是首个公开可用的、带有职业标注的人脸老化研究数据集。