[论文解读] Palm-GAN: Generating Realistic Palmprint Images Using Total-Variation Regularized GAN

Shervin Minaee, Mehdi Minaei+1 more|arXiv (Cornell University)|Mar 21, 2020

AI in cancer detection参考文献 38被引用 7

一句话总结

本文提出Palm-GAN，一种采用总变差（TV）正则化的条件生成对抗网络框架，用于生成高度逼真的掌纹图像。通过TV损失强制实现线条连通性，该模型生成了多样化且逼真的掌纹图像，与真实数据高度匹配，在PolyU数据集上实现了46.3的低FID分数。

ABSTRACT

Generating realistic palmprint (more generally biometric) images has always been an interesting and, at the same time, challenging problem. Classical statistical models fail to generate realistic-looking palmprint images, as they are not powerful enough to capture the complicated texture representation of palmprint images. In this work, we present a deep learning framework based on generative adversarial networks (GAN), which is able to generate realistic palmprint images. To help the model learn more realistic images, we proposed to add a suitable regularization to the loss function, which imposes the line connectivity of generated palmprint images. This is very desirable for palmprints, as the principal lines in palm are usually connected. We apply this framework to a popular palmprint databases, and generate images which look very realistic, and similar to the samples in this database. Through experimental results, we show that the generated palmprint images look very realistic, have a good diversity, and are able to capture different parts of the prior distribution. We also report the Frechet Inception distance (FID) of the proposed model, and show that our model is able to achieve really good quantitative performance in terms of FID score.

研究动机与目标

• 为解决生成难以与真实图像区分的逼真掌纹图像的挑战。
• 克服经典统计模型在捕捉复杂掌纹纹理模式方面的局限性。
• 通过强制实现线条连通性，提升生成掌纹的逼真度和结构保真度。
• 开发一种轻量级生成对抗网络架构，可在CPU上训练，适用于实际部署。
• 通过定性视觉分析和定量FID分数评估模型性能。

提出的方法

• 提出一种采用总变差（TV）正则化的深度卷积生成对抗网络（DC-GAN），用于掌纹图像生成。
• 引入一种改进的生成对抗网络损失函数，包含生成图像的TV范数，以促进主干线条的连通性。
• 采用五层生成器和判别器架构，实现在无GPU环境下于CPU上训练。
• 在PolyU多光谱掌纹数据集上训练模型，将图像尺寸调整为64×64以加快训练速度。
• 采用从高斯先验中采样的潜在噪声，生成多样化的掌纹样本。
• 使用Fréchet Inception Distance（FID）评估性能，比较真实图像与生成图像的特征分布。

实验结果

研究问题

• RQ1 基于生成对抗网络的模型能否生成在视觉上与真实样本无法区分的掌纹图像？
• RQ2 引入总变差正则化是否能提升生成掌纹的结构逼真度？
• RQ3 所提出的模型在定量性能上与当前最先进的掌纹生成模型相比如何？
• RQ4 该模型在多大程度上保持了多样性并捕捉了真实掌纹纹理的先验分布？
• RQ5 该模型是否能在计算资源有限的CPU上有效训练？

主要发现

• 所提出的Palm-GAN模型生成了高度逼真的掌纹图像，在视觉上与PolyU数据集中真实样本无法区分。
• 引入总变差正则化显著改善了主干线条的连通性，增强了结构逼真度。
• 该模型在PolyU数据集上实现了46.3的Fréchet Inception Distance（FID）分数，表明其具有出色的定量性能。
• 不同潜在噪声输入下，生成图像在线条位置、对比度和色彩分布方面表现出高度多样性。
• 生成器和判别器的损失曲线显示出稳定的训练动态，生成器损失随100个训练周期逐渐下降，判别器损失趋于稳定。
• 该模型计算效率高，五层架构可在CPU上训练，适用于计算资源受限的环境。