[论文解读] PrintsGAN: Synthetic Fingerprint Generator

Joshua J. Engelsma, Steven A. Grosz+1 more|arXiv (Cornell University)|Jan 10, 2022

Biometric Identification and Security被引用 4

一句话总结

PrintsGAN 是一种基于 GAN 的合成指纹生成器，可生成高质量、逼真的 512×512 滚动指纹，每根手指包含多个指纹印象，从而实现大规模合成数据集的构建，共包含 52.5 万枚指纹（3.5 万根独特手指，每根手指 15 次印象）。当用于预训练深度指纹嵌入网络（DeepPrint）时，其在 NIST SD4 数据集上的性能提升至 87.03% TAR（FAR=0.01%），显著优于仅使用真实数据训练的结果。

ABSTRACT

A major impediment to researchers working in the area of fingerprint recognition is the lack of publicly available, large-scale, fingerprint datasets. The publicly available datasets that do exist contain very few identities and impressions per finger. This limits research on a number of topics, including e.g., using deep networks to learn fixed length fingerprint embeddings. Therefore, we propose PrintsGAN, a synthetic fingerprint generator capable of generating unique fingerprints along with multiple impressions for a given fingerprint. Using PrintsGAN, we synthesize a database of 525k fingerprints (35K distinct fingers, each with 15 impressions). Next, we show the utility of the PrintsGAN generated dataset by training a deep network to extract a fixed-length embedding from a fingerprint. In particular, an embedding model trained on our synthetic fingerprints and fine-tuned on a small number of publicly available real fingerprints (25K prints from NIST SD302) obtains a TAR of 87.03% @ FAR=0.01% on the NIST SD4 database (a boost from TAR=73.37% when only trained on NIST SD302). Prevailing synthetic fingerprint generation methods do not enable such performance gains due to i) lack of realism or ii) inability to generate multiple impressions per finger. We plan to release our database of synthetic fingerprints to the public.

研究动机与目标

• 为解决公开可用、大规模指纹数据集在身份数量和每根手指多印象方面的严重不足问题。
• 开发一种合成指纹生成方法，能够生成逼真、多样化且独特的指纹，同时控制类内变化。
• 证明合成指纹在提升固定长度指纹嵌入网络和大规模识别任务的深度学习模型性能方面的实用性。
• 通过确保真实训练数据中无信息泄露，实现无需隐私风险的大规模合成指纹数据库的公开发布。

提出的方法

• PrintsGAN 采用多阶段 GAN 基础流程，结合领域知识驱动的合成与深度生成建模，以生成高保真度的指纹。
• 该方法首先使用条件 GAN 生成一个“主指纹”，然后通过几何扭曲和裁剪模拟不同手指位置和方向。
• 在第三阶段应用纹理渲染，添加逼真的皮肤纹理和脊线细节，确保与真实指纹特征的高度一致。
• 模型在真实操作性法医指纹数据库上进行训练，结合 GAN 损失和感知损失，以增强真实感和结构准确性。
• 系统可控制指纹身份和印象变化，支持为每个唯一手指生成多个不同印象。
• 整个流程在 TensorFlow 中实现，支持在模型训练期间实时生成，从而降低存储开销。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否生成足够逼真的合成指纹，以提升在真实数据上训练的深度学习模型性能？
• RQ2 每根手指包含多个印象的合成指纹能否提升固定长度指纹嵌入网络的性能？
• RQ3 合成指纹生成过程是否保留了足够的类内变化，以支持稳健的指纹识别？
• RQ4 在真实训练数据中无信息泄露的前提下，是否可安全地公开发布大规模合成指纹数据库？

主要发现

• 在 PrintsGAN 生成的合成指纹上训练 DeepPrint 嵌入模型，并在 NIST SD302 的 2.5 万张真实指纹上微调，与仅在 NIST SD302 上训练相比，NIST SD4 基准测试的 TAR 提升了 13.66%（FAR=0.01% 时达到 87.03%，而仅用 SD302 训练为 73.37%）。
• 使用 PrintsGAN 生成的指纹预训练 DeepPrint 模型时，NIST SD4 上的 rank-1 识别率达到 92.05%，优于仅使用 NIST SD302 训练的 85.90%。
• 将画廊数据扩充 10 万张 PrintsGAN 生成的指纹，其识别性能与扩充 10 万张真实指纹（92.05% vs. 86.80%）相当。
• 领域专家对 PrintsGAN 生成指纹的真实感评价与真实指纹相当，证实其具有极高的感知质量。
• 该合成过程计算效率高，使用两块 RTX 2080 Ti GPU，每生成一张 512×512 的指纹耗时约 99.2ms。
• 该方法未从真实训练数据库中泄露显著信息，因此可安全地公开发布包含 52.5 万张指纹的合成数据集。