[论文解读] Reconstruct Face from Features Using GAN Generator as a Distribution Constraint

Xingbo Dong, Zhihui Miao+5 more|arXiv (Cornell University)|Jun 9, 2022

Face recognition and analysis被引用 8

一句话总结

本文提出了一种新颖的方法，通过使用预训练的StyleGAN生成器作为分布约束，从深度特征重建高质量的人脸图像，将问题建模为通过遗传算法（GA）进行潜在向量优化。该方法在0.1%误接受率（FAR）下，于LFW数据集上实现了98.0%的攻击成功率，展示了人脸识别系统中显著的隐私与安全风险。

ABSTRACT

Face recognition based on the deep convolutional neural networks (CNN) shows superior accuracy performance attributed to the high discriminative features extracted. Yet, the security and privacy of the extracted features from deep learning models (deep features) have been often overlooked. This paper proposes the reconstruction of face images from deep features without accessing the CNN network configurations as a constrained optimization problem. Such optimization minimizes the distance between the features extracted from the original face image and the reconstructed face image. Instead of directly solving the optimization problem in the image space, we innovatively reformulate the problem by looking for a latent vector of a GAN generator, then use it to generate the face image. The GAN generator serves as a dual role in this novel framework, i.e., face distribution constraint of the optimization goal and a face generator. On top of the novel optimization task, we also propose an attack pipeline to impersonate the target user based on the generated face image. Our results show that the generated face images can achieve a state-of-the-art successful attack rate of 98.0\% on LFW under type-I attack @ FAR of 0.1\%. Our work sheds light on the biometric deployment to meet the privacy-preserving and security policies.

研究动机与目标

• 解决人脸识别系统中深度特征暴露所引发的关键安全与隐私风险。
• 在无法访问特征提取器内部架构（黑盒设置）的前提下，从深度特征重建高保真度的人脸图像。
• 开发一种鲁棒且可泛化的图像生成方法，利用特征生成可绕过现有活体检测机制的真实人脸图像。
• 展示利用重建图像实施冒名攻击以破坏人脸识别系统的可行性。
• 探索使用GAN生成器作为隐式分布约束，以提升图像重建质量与真实感。

提出的方法

• 将人脸图像重建问题重新表述为约束优化问题，以最小化原始图像与重建图像之间的特征距离。
• 使用预训练的StyleGAN生成器将潜在向量映射为人脸图像，利用其学习到的人脸分布作为结构约束。
• 将优化任务建模为在GAN潜在空间中寻找最优潜在向量，使得生成的人脸图像的深度特征与目标特征相匹配。
• 采用遗传算法（GA）高效搜索潜在空间，适应度函数定义为重建图像与原始图像提取特征之间的L2距离。
• 将特征提取器作为黑盒处理，允许无限次查询以生成优化过程的训练数据。
• 将重建图像集成到完整的冒名攻击流水线中，针对LFW和colorFERET数据集的人脸识别系统进行攻击。

实验结果

研究问题

• RQ1 仅凭深度特征，能否在不访问特征提取器内部架构的情况下重建出高质量的人脸图像？
• RQ2 GAN生成器在多大程度上可作为有效的分布先验，以约束图像重建过程？
• RQ3 所提方法在生成可成功冒名真实用户的人脸图像方面效果如何？
• RQ4 重建图像在多大程度上能规避商用现成（COTS）活体检测系统？
• RQ5 遗传算法的关键超参数中，哪些对重建质量与效率有显著影响？

主要发现

• 在LFW数据集上，该方法在0.1%误接受率（FAR）下实现了98.0%的攻击成功率，达到当前最先进水平。
• 在colorFERET数据集上，该方法在相同条件下实现了96.7%的攻击成功率，表明其在不同数据集间具有强大的泛化能力。
• 88.6%的生成人脸图像（COTS 2为62%，COTS 3为98%）成功通过了COTS活体检测API，表明当前商用活体检测系统存在显著漏洞。
• 消融实验表明，种群大小为256、交叉率0.2、突变率0.1时，在MSE和计算效率方面达到最优性能。
• 失败案例揭示了生成器的偏差问题，由于StyleGAN模型训练数据不平衡，重建图像常演变为婴儿或女性面孔。
• 与基于去卷积网络或直接反演的方法相比，使用GAN生成器作为分布约束显著提升了图像质量和真实感。