[论文解读] Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks

Rafael Bouzaglo, Yosi Keller|arXiv (Cornell University)|Jan 17, 2022

Biometric Identification and Security被引用 11

一句话总结

本文提出了一种基于StyleGAN2的框架，用于高保真指纹合成与重建，能够生成具有可控属性且保持身份一致的多样化指纹图像。该研究构建了包含10万对配对合成指纹的SynFing数据集，并在真实感和防伪能力方面优于当前最先进方法。

ABSTRACT

Deep learning-based models have been shown to improve the accuracy of fingerprint recognition. While these algorithms show exceptional performance, they require large-scale fingerprint datasets for training and evaluation. In this work, we propose a novel fingerprint synthesis and reconstruction framework based on the StyleGan2 architecture, to address the privacy issues related to the acquisition of such large-scale datasets. We also derive a computational approach to modify the attributes of the generated fingerprint while preserving their identity. This allows synthesizing multiple different fingerprint images per finger. In particular, we introduce the SynFing synthetic fingerprints dataset consisting of 100K image pairs, each pair corresponding to the same identity. The proposed framework was experimentally shown to outperform contemporary state-of-the-art approaches for both fingerprint synthesis and reconstruction. It significantly improved the realism of the generated fingerprints, both visually and in terms of their ability to spoof fingerprint-based verification systems. The code and fingerprints dataset are publicly available: https://github.com/rafaelbou/fingerprint_generator.

研究动机与目标

• 通过生成逼真的合成指纹数据集来解决指纹识别中的隐私与数据稀缺问题。
• 利用深度生成模型开发一个联合的指纹合成与重建框架。
• 在保持指纹身份的前提下，对背景涂鸦和干燥皮肤伪影等视觉属性实现细粒度控制。
• 评估合成指纹在提升深度学习模型指纹验证性能方面的实用性。
• 发布一个大规模、公开可用的合成指纹数据集（SynFing），以供研究与基准测试使用。

提出的方法

• 在真实指纹数据上训练StyleGAN2生成器，从随机潜在向量生成高分辨率、逼真的指纹图像。
• 通过Minutiae-To-Vec编码器将纹线特征映射为潜在向量，实现从纹线信息重建原始指纹。
• 采用基于FingerNet的新型指纹导向感知损失，以在合成与重建过程中保持身份一致性。
• 利用SeFa方法识别潜在空间中的可解释方向，实现可控的属性修改（如斑点、背景涂鸦）。
• 通过沿学习到的方向操纵潜在向量，支持对同一指纹生成多个不同的指纹图像。
• SynFing数据集由10万个图像对构成，每对共享相同身份但视觉属性不同。

实验结果

研究问题

• RQ1 基于GAN的框架能否生成在视觉上逼真且与真实指纹无法区分的合成指纹？
• RQ2 同一模型能否从其纹线信息中重建指纹，同时保持身份一致性和结构保真度？
• RQ3 在不改变身份的前提下，能否对生成指纹中的背景噪声和干燥皮肤伪影等视觉属性实现有效控制？
• RQ4 与真实数据集相比，合成的SynFing数据集在提升指纹验证深度学习模型性能方面的有效性如何？
• RQ5 生成的指纹能否成功欺骗商用指纹验证系统？

主要发现

• 所提出的框架在指纹合成与重建方面均优于当前最先进方法，实现了更高的真实感与更强的防伪能力。
• 当使用ArcFace模型训练时，SynFing数据集在NIST SD4数据集上达到71.43%的验证准确率，优于仅在NIST SD14上训练的模型（69.20%）。
• 结合SynFing与NIST SD14数据的联合训练策略实现了83.72%的验证准确率，显著优于仅使用任一数据集训练的模型。
• SynFingP1与SynFingP2的匹配分数高于NIST SD4的伪造者分数，略低于真实者分数，表明生成图像间具有强大的身份一致性。
• 通过沿可解释方向修改潜在向量，框架成功生成了多样化的指纹图像，视觉属性如涂鸦和干燥皮肤伪影可被可控调整。
• 基于FingerNet的感知损失在合成与重建过程中有效保持了身份一致性，实现了高保真输出。