[论文解读] What Will Your Child Look Like? DNA-Net: Age and Gender Aware Kin Face Synthesizer

Pengyu Gao, Siyu Xia+5 more|arXiv (Cornell University)|Nov 16, 2019

Face recognition and analysis参考文献 22被引用 13

一句话总结

本文提出DNA-Net，一种两阶段生成模型，通过模拟基于年龄和性别的特征映射以及随机基因组合来实现从父母图像生成逼真的儿童面部图像，模拟遗传继承过程。该方法实现了高度逼真的视觉效果，60.29%的人类评估者错误地将生成的面部图像识别为真实儿童，优于真实儿童图像在人类感知测试中的表现。

ABSTRACT

Visual kinship recognition aims to identify blood relatives from facial images. Its practical application-- like in law-enforcement, video surveillance, automatic family album management, and more-- has motivated many researchers to put forth effort on the topic as of recent. In this paper, we focus on a new view of visual kinship technology: kin-based face generation. Specifically, we propose a two-stage kin-face generation model to predict the appearance of a child given a pair of parents. The first stage includes a deep generative adversarial autoencoder conditioned on ages and genders to map between facial appearance and high-level features. The second stage is our proposed DNA-Net, which serves as a transformation between the deep and genetic features based on a random selection process to fuse genes of a parent pair to form the genes of a child. We demonstrate the effectiveness of the proposed method quantitatively and qualitatively: quantitatively, pre-trained models and human subjects perform kinship verification on the generated images of children; qualitatively, we show photo-realistic face images of children that closely resemble the given pair of parents. In the end, experiments validate that the proposed model synthesizes convincing kin-faces using both subjective and objective standards.

研究动机与目标

• 为解决现有亲属关系生成方法仅依赖单个父母的局限性，通过建模来自双亲的遗传继承。
• 利用深度学习框架模拟生物学上的基因重组过程——即父母基因的随机选择与组合。
• 生成在面部结构和外观上均与双亲相似且表现出可遗传面部特征（如眼睛、鼻子、嘴巴和下巴形状相似性）的逼真儿童面部图像。
• 通过定量指标（如亲属关系验证准确率）和定性人类评估双重验证模型的有效性。
• 通过基于关键点的形状分析，探究面部特征的可遗传性，比较父母与生成/真实儿童之间的几何相似性。

提出的方法

• 在大规模人脸数据集上训练条件对抗自编码器（CAAE），以将人脸图像映射到高层特征（年龄、性别）并实现重建，从而实现解耦表示学习。
• 提出DNA-Net作为新型转换模块，接收双亲编码后的特征，通过模拟随机基因重组过程生成具有儿童特性的遗传编码。
• 采用两阶段训练流程：首先，CAAE学习图像到特征及特征到图像的转换；其次，DNA-Net通过可微分的随机基因组合机制学习从双亲特征到儿童特征的映射。
• 基因表征被建模为潜在向量，通过概率选择过程将双亲特征组合，模拟孟德尔遗传规律。
• 通过生成器网络将儿童的遗传编码解码为面部图像，并采用对抗训练提升生成图像的真实感。
• 通过预训练的CNN进行自动化亲属关系验证，以及在真实与生成儿童面部图像识别任务中的人工评估对模型进行评估。

实验结果

研究问题

• RQ1 深度生成模型能否模拟生物学上的遗传继承过程，从而从双亲图像生成儿童面部？
• RQ2 与真实儿童相比，生成的儿童面部在面部结构和外观上与双亲的相似程度如何？
• RQ3 通过基于关键点的形状相似性度量，生成的面部在多大程度上继承了父母的关键面部特征（如嘴巴、鼻子、下巴形状）？
• RQ4 人类观察者在区分真实儿童与生成图像时的表现如何？该模型在感知真实感方面是否优于真实图像？
• RQ5 该模型能否在保持亲属关系一致性的同时，生成不同年龄和性别的儿童面部？

主要发现

• 所提出的DNA-Net模型在人类评估中对生成儿童面部的识别准确率为60.29%，优于真实儿童图像（仅39.71%的参与者正确识别）。
• 在自动化亲属关系验证中，生成面部的验证得分为0.94，表明其与真实儿童的相似度高于与随机真实人脸的相似度。
• t-SNE可视化显示，生成儿童面部的特征分布更加紧凑，且与双亲及真实儿童的特征分布高度对齐，表明具有强烈的亲属关系相似性。
• 可遗传性图谱显示，生成儿童面部在嘴巴区域与双亲的形状相似度较高（平均余弦距离为0.82），与遗传学发现一致。
• 生成面部的鼻子和下巴区域也表现出较强的可遗传性，余弦距离分别为0.78和0.80，表明关键面部结构能有效继承。
• 该模型成功生成了涵盖不同年龄和性别组合的儿童面部，证明其可通过条件输入灵活控制输出特征。