[论文解读] Temporal Non-Volume Preserving Approach to Facial Age-Progression and Age-Invariant Face Recognition

Chi Nhan Duong, Kha Gia Quach+3 more|arXiv (Cornell University)|Mar 24, 2017

Face recognition and analysis参考文献 25被引用 18

一句话总结

本文提出了一种时间非体积保持（TNVP）生成概率模型，通过将老化建模为连续年龄组之间的短期非线性变换序列，实现了高质量的人脸年龄进展与年龄不变的人脸识别。通过结合可追踪的对数似然估计与残差卷积神经网络，该方法在年龄进展的人脸合成与跨年龄验证任务中达到最先进性能，无需微调即可将人脸识别准确率提高10%–40%。

ABSTRACT

Modeling the long-term facial aging process is extremely challenging due to the presence of large and non-linear variations during the face development stages. In order to efficiently address the problem, this work first decomposes the aging process into multiple short-term stages. Then, a novel generative probabilistic model, named Temporal Non-Volume Preserving (TNVP) transformation, is presented to model the facial aging process at each stage. Unlike Generative Adversarial Networks (GANs), which requires an empirical balance threshold, and Restricted Boltzmann Machines (RBM), an intractable model, our proposed TNVP approach guarantees a tractable density function, exact inference and evaluation for embedding the feature transformations between faces in consecutive stages. Our model shows its advantages not only in capturing the non-linear age related variance in each stage but also producing a smooth synthesis in age progression across faces. Our approach can model any face in the wild provided with only four basic landmark points. Moreover, the structure can be transformed into a deep convolutional network while keeping the advantages of probabilistic models with tractable log-likelihood density estimation. Our method is evaluated in both terms of synthesizing age-progressed faces and cross-age face verification and consistently shows the state-of-the-art results in various face aging databases, i.e. FG-NET, MORPH, AginG Faces in the Wild (AGFW), and Cross-Age Celebrity Dataset (CACD). A large-scale face verification on Megaface challenge 1 is also performed to further show the advantages of our proposed approach.

研究动机与目标

• 解决在长时间跨度下非线性、大规模的人脸老化变化挑战。
• 开发一种生成模型，实现平滑、高保真的年龄进展，且无需人脸家族参考或复杂预处理。
• 通过生成真实感强的年龄进展人脸来提升跨年龄人脸验证性能，同时保持身份一致性。
• 结合概率图模型（可追踪推理）与深度残差网络（非线性特征学习）的优势，实现更优的老化建模。
• 仅使用四个关键点，即可在无约束、野外人脸图像上实现鲁棒性能。

提出的方法

• 将长期人脸老化分解为多个短期阶段，以实现可管理的建模。
• 提出一种新型时间非体积保持（TNVP）变换，作为具有可追踪密度估计的流基生成模型。
• 将残差卷积神经网络（ResNet）模块集成到TNVP架构中，以建模复杂非线性老化特征。
• 使用对数似然目标函数，实现连续年龄组之间特征变换的精确推理与评估。
• 通过潜在变量连接作为“记忆”形式，确保各年龄阶段之间过渡平滑且身份得以保持。
• 仅使用四个面部关键点，将模型应用于野外人脸，避免严格对齐或复杂预处理。

实验结果

研究问题

• RQ1 可追踪的概率模型能否有效捕捉在多个短期阶段中的人脸非线性老化变化？
• RQ2 所提出的TNVP模型能否在无需家族参考图像的情况下生成高质量、逼真的年龄进展人脸？
• RQ3 通过TNVP实现的年龄进展是否能提升跨年龄人脸验证任务的性能？
• RQ4 在对数似然、推理效率与合成质量方面，TNVP模型相较于GANs、RBMs及其他深度学习方法表现如何？
• RQ5 该模型能否在仅需极少预处理的无约束、野外人脸图像上实现良好泛化？

主要发现

• TNVP模型在多个基准数据集（包括FG-NET、MORPH、AGFW与CACD）上的人脸年龄进展任务中达到最先进性能。
• 在Megaface Challenge 1的跨年龄人脸验证任务中，TNVP生成的人脸使Rank-1识别准确率相比原始Center Loss模型提升了9.0%（从38.79%提升至47.72%），且无需微调。
• 在FG-NET数据集的小规模协议下，该方法相比原始人脸对匹配性能提升了30%，优于IAAP与TRBM。
• 模型在仅使用四个关键点的野外人脸图像上表现出鲁棒性，无需复杂对齐或预处理。
• TNVP模型提供精确的对数似然估计与可追踪推理，而GANs（对抗训练）或RBMs（不可追踪的配分函数）则不具备此优势。
• 在TNVP架构中使用残差块，有效建模了复杂非线性老化变换，同时在各年龄阶段间保持了身份一致性。