[论文解读] Vec2Face-v2: Unveil Human Faces from their Blackbox Features via Attention-based Network in Face Recognition

Thanh-Dat Truong, Chi Nhan Duong+3 more|arXiv (Cornell University)|Sep 11, 2022

Face recognition and analysis被引用 6

一句话总结

该论文提出DAB-GAN，一种新颖的基于注意力机制的生成对抗网络，结合双射度量学习与知识蒸馏，旨在从黑箱人脸识别特征中重建高保真度的人脸图像。该方法在多个开放集人脸识别基准测试中实现了最先进的身份保留与图像真实感表现，即使在未知识别模型结构的情况下亦表现优异。

ABSTRACT

In this work, we investigate the problem of face reconstruction given a facial feature representation extracted from a blackbox face recognition engine. Indeed, it is a very challenging problem in practice due to the limitations of abstracted information from the engine. We, therefore, introduce a new method named Attention-based Bijective Generative Adversarial Networks in a Distillation framework (DAB-GAN) to synthesize the faces of a subject given his/her extracted face recognition features. Given any unconstrained unseen facial features of a subject, the DAB-GAN can reconstruct his/her facial images in high definition. The DAB-GAN method includes a novel attention-based generative structure with the newly defined Bijective Metrics Learning approach. The framework starts by introducing a bijective metric so that the distance measurement and metric learning process can be directly adopted in the image domain for an image reconstruction task. The information from the blackbox face recognition engine will be optimally exploited using the global distillation process. Then an attention-based generator is presented for a highly robust generator to synthesize realistic faces with ID preservation. We have evaluated our method on the challenging face recognition databases, i.e., CelebA, LFW, CFP-FP, CP-LFW, AgeDB, CA-LFW, and consistently achieved state-of-the-art results. The advancement of DAB-GAN is also proven in both image realism and ID preservation properties.

研究动机与目标

• 为解决从黑箱人脸识别特征中重建人脸图像的挑战性问题，其中模型架构与训练数据均未知。
• 在无输入图像或无法访问识别引擎结构的情况下，仍能保留重建人脸的主体身份。
• 通过引入双射度量学习框架，实现在图像空间中的直接距离度量，从而提升图像真实感与身份保真度。
• 利用来自黑箱引擎的知识蒸馏，以最大化从特征嵌入中提取的信息量。
• 在开放集识别条件下，于多样化、非受限的人脸数据集上验证所提方法的有效性。

提出的方法

• 提出一种新颖的双射度量学习方法，建立图像对之间的一一映射关系，实现在图像域中对重建任务的直接且可解释的距离度量。
• 引入一种基于注意力机制的生成器，通过增强特征精炼与空间注意力机制，从潜在特征中合成逼真且身份一致的人脸图像。
• 采用知识蒸馏框架，将黑箱识别引擎的知识迁移至生成器，以最大化利用特征嵌入中的信息。
• 采用判别式对抗训练方案，结合感知损失与重建损失，以提升图像保真度与结构一致性。
• 实施全局知识蒸馏过程，使生成器的输出分布与真实人脸分布对齐，即使在无原始训练数据的情况下亦可实现。
• 利用双射度量的Lipschitz连续性，确保训练过程中优化的稳定与意义明确。

实验结果

研究问题

• RQ1 生成模型是否能在不访问模型架构或训练数据的情况下，从黑箱人脸嵌入中重建高保真度的人脸图像？
• RQ2 双射度量学习在提升深度特征重建图像的质量与一致性方面效果如何？
• RQ3 从黑箱识别引擎中进行知识蒸馏，能在多大程度上提升生成人脸的真实感与身份保真度？
• RQ4 在无黑箱访问的约束条件下，基于注意力机制的生成器架构是否优于标准GAN，在身份保留与高质量图像生成方面表现更优？
• RQ5 所提方法在多样化、真实场景的人脸数据集及不同人脸匹配引擎上的泛化能力如何？

主要发现

• DAB-GAN在LFW、CFP-FP、CP-LFW、AgeDB与CA-LFW基准测试中达到最先进性能，ArcFace上准确率达99.21%，AdaFace上达98.60%，展现出强大的身份保留能力。
• 在CelebA测试集上，DAB-GAN在MS-SSIM与Inception Score两项指标上均优于PO_GAN与NBNet等基线模型，表明其图像质量与真实感更优。
• 在AgeDB上达到94.18%准确率，在SCF-ArcFace上达95.72%，表明方法在不同人群与年龄分布下具有强鲁棒性。
• 双射度量学习框架实现了图像空间中稳定且可解释的距离度量，提升了训练收敛性与重建保真度。
• 基于注意力机制的生成器显著改善了特征精炼与身份一致性，尤其在生成精细面部细节方面表现突出。
• 尽管训练数据分辨率为112×112，该方法仍展现出向更高分辨率扩展的潜力，未来具备可扩展性。