[论文解读] When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework

Zhizhong Huang, Junping Zhang+1 more|arXiv (Cornell University)|Mar 2, 2021

Face recognition and analysis参考文献 57被引用 6

一句话总结

该论文提出 MTLFace，一种多任务学习框架，通过使用注意力机制和连续域自适应，将面部特征分解为解耦的与身份和年龄相关的成分，联合执行年龄不变人脸识别（AIFR）和人脸年龄合成（FAS）。该方法在 AIFR 和 FAS 任务中均达到最先进性能，实现逼真且身份保持的人脸合成，并在多个基准测试中提升了识别准确率。

ABSTRACT

To minimize the effects of age variation in face recognition, previous work either extracts identity-related discriminative features by minimizing the correlation between identity- and age-related features, called age-invariant face recognition (AIFR), or removes age variation by transforming the faces of different age groups into the same age group, called face age synthesis (FAS); however, the former lacks visual results for model interpretation while the latter suffers from artifacts compromising downstream recognition. Therefore, this paper proposes a unified, multi-task framework to jointly handle these two tasks, termed MTLFace, which can learn age-invariant identity-related representation while achieving pleasing face synthesis. Specifically, we first decompose the mixed face feature into two uncorrelated components -- identity- and age-related feature -- through an attention mechanism, and then decorrelate these two components using multi-task training and continuous domain adaption. In contrast to the conventional one-hot encoding that achieves group-level FAS, we propose a novel identity conditional module to achieve identity-level FAS, with a weight-sharing strategy to improve the age smoothness of synthesized faces. In addition, we collect and release a large cross-age face dataset with age and gender annotations to advance the development of the AIFR and FAS. Extensive experiments on five benchmark cross-age datasets demonstrate the superior performance of our proposed MTLFace over existing state-of-the-art methods for AIFR and FAS. We further validate MTLFace on two popular general face recognition datasets, showing competitive performance for face recognition in the wild. The source code and dataset are available at~\url{https://github.com/Hzzone/MTLFace}.

研究动机与目标

• 为解决现有 AIFR 和 FAS 方法存在的视觉可解释性不足或合成人脸出现伪影的问题。
• 开发一个统一框架，同时提升年龄不变人脸识别与高保真人脸年龄合成性能。
• 通过建模个性化老化模式，实现基于身份的人脸年龄合成，而非依赖于群体级别的独热编码年龄表示。
• 通过收集并发布大规模跨年龄人脸数据集，推动研究进展，该数据集包含年龄和性别标注。
• 在跨年龄和通用人脸识别基准上验证所提方法的泛化能力。

提出的方法

• 该框架采用基于注意力的特征分解（AFD）模块，利用通道注意力和空间注意力机制，将混合面部特征分离为与身份和年龄相关的成分。
• 通过多任务训练，联合优化人脸识别（使用 CosFace 损失）、年龄估计以及通过梯度反转层实现的域自适应，以学习身份不变表示。
• 提出一种新型身份条件模块（ICM），通过将生成器基于身份特定嵌入进行条件化，实现基于身份的人脸年龄合成，同时通过权重共享确保年龄过渡的平滑性。
• 采用梯度反转层实现连续域自适应，以最小化源域与目标域年龄组之间的域偏移，促进获得年龄不变的特征表示。
• 在新收集的大规模跨年龄数据集（SCAF）上端到端训练模型，该数据集包含年龄和性别标注。
• 该框架支持年龄推进与年龄退化，生成保留身份且具有自然老化细节的逼真人脸。

实验结果

研究问题

• RQ1 一个统一的深度学习框架能否有效结合年龄不变人脸识别与高质量的人脸年龄合成？
• RQ2 在共享表示空间中，如何有效解耦与身份和年龄相关的特征？
• RQ3 通过身份条件模块实现的基于身份的人脸年龄合成，是否能产生比群体级方法更自然、更保持身份的合成结果？
• RQ4 结合域自适应的多任务学习能否提升在多样化跨年龄人脸数据集上的泛化能力？
• RQ5 所提方法在野外通用人脸识别任务中的泛化能力达到何种程度？

主要发现

• MTLFace 在五个基准跨年龄人脸识别数据集上达到最先进性能，验证率优于现有最先进方法。
• 消融实验证实，所提出的基于注意力的特征分解（AFD）与联合多任务学习，显著优于基线方法和单任务变体，大幅提升了 AIFR 性能。
• 通过梯度反转实现的连续跨年龄域自适应，显著提升了所有数据集上的性能，且表现一致。
• 定性结果表明，MTLFace 生成的图像逼真、身份保持良好，且具有自然的老化细节，在视觉保真度和身份保持方面优于 CAAE 和 AIM。
• 在通用人脸识别基准（LFW 和 MegaFace 1-Facescrub）上，MTLFace 表现具有竞争力，证明了其强大的泛化能力。
• 所提出的 SCAF 数据集（含年龄和性别标注）为跨年龄人脸识别与合成任务提供了更鲁棒的训练与评估支持。