[论文解读] Sensor-invariant Fingerprint ROI Segmentation Using Recurrent Adversarial Learning

Indu Joshi, Ayush Utkarsh+5 more|arXiv (Cornell University)|Jul 3, 2021

Biometric Identification and Security参考文献 60被引用 13

一句话总结

本文提出一种基于循环对抗学习的RA-RUnet方法，用于实现传感器无关的指纹感兴趣区域（ROI）分割，无需在新型指纹传感器上进行人工ROI标注。通过对抗性训练，模型在迭代过程中将未见传感器的特征对齐至训练传感器的特征，从而学习到传感器无关的表征，在无需微调或新设备标注的情况下，实现了跨传感器指纹ROI分割的最先进性能。

ABSTRACT

A fingerprint region of interest (roi) segmentation algorithm is designed to separate the foreground fingerprint from the background noise. All the learning based state-of-the-art fingerprint roi segmentation algorithms proposed in the literature are benchmarked on scenarios when both training and testing databases consist of fingerprint images acquired from the same sensors. However, when testing is conducted on a different sensor, the segmentation performance obtained is often unsatisfactory. As a result, every time a new fingerprint sensor is used for testing, the fingerprint roi segmentation model needs to be re-trained with the fingerprint image acquired from the new sensor and its corresponding manually marked ROI. Manually marking fingerprint ROI is expensive because firstly, it is time consuming and more importantly, requires domain expertise. In order to save the human effort in generating annotations required by state-of-the-art, we propose a fingerprint roi segmentation model which aligns the features of fingerprint images derived from the unseen sensor such that they are similar to the ones obtained from the fingerprints whose ground truth roi masks are available for training. Specifically, we propose a recurrent adversarial learning based feature alignment network that helps the fingerprint roi segmentation model to learn sensor-invariant features. Consequently, sensor-invariant features learnt by the proposed roi segmentation model help it to achieve improved segmentation performance on fingerprints acquired from the new sensor. Experiments on publicly available FVC databases demonstrate the efficacy of the proposed work.

研究动机与目标

• 解决指纹ROI分割模型在新、未见指纹传感器上测试时泛化能力差的挑战。
• 通过实现零样本适应，消除在每个新型指纹传感器上进行昂贵且耗时的人工ROI标注的需要。
• 通过对抗性特征对齐学习传感器无关特征，提升在新传感器上的分割性能。
• 证明循环对抗学习相比单步方法，能增强特征精炼与边界分割精度。
• 在跨传感器评估设置下，于公开可用的FVC指纹数据库上验证所提方法的有效性。

提出的方法

• 提出RA-RUnet，一种基于U-Net的分割网络，通过引入循环对抗特征对齐模块，实现源（已见）传感器与目标（未见）传感器特征的对齐。
• 采用循环判别器，在多个步骤中迭代精炼特征表示，模拟人类视觉感知以提升特征学习效果。
• 使用加权损失函数，结合分割损失与对抗损失，超参数α控制两者之间的权衡。
• 通过无监督域适应，将无真实标签的目标传感器图像特征对齐至具有真实标签的源传感器图像特征。
• 以循环方式执行特征对齐，判别器在多个迭代（T=1，T=3）中更新参数，逐步优化特征空间。
• 采用共享编码器-解码器架构进行分割，对抗模块作用于瓶颈特征，以强制实现域不变性。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需为该传感器提供人工标注真实标签的情况下，实现新型指纹传感器上的高精度指纹ROI分割？
• RQ2 与单步对抗自适应相比，循环对抗学习是否能提升特征对齐与分割性能？
• RQ3 用于平衡分割损失与对抗损失的超参数α的选择，如何影响最终的分割精度？
• RQ4 所提方法在多大程度上减少了跨传感器指纹ROI分割中对人工标注的依赖？
• RQ5 循环精炼机制是否能带来更优的边界定位与分割输出中的激活模式？

主要发现

• RA-RUnet在2000DB3上达到92.48%的Dice分数，在2002DB1上达到95.77%，在2004DB1上达到97.75%，显著优于基线RUnet与最先进模型在未见传感器上的表现。
• 在九个数据库中的五个上，T=3的循环迭代模型（RA-RUnet with T=3）优于T=1，证明循环精炼能提升分割性能。
• 最优性能出现在α=1时，此时对抗损失贡献充分但未降低分割性能；更高的α值（如α=5）会降低分割精度。
• 在2004DB2上，Jaccard相似度达到88.68%，在2004DB3上达到89.72%，表明在具有挑战性的数据库上表现强劲。
• 可视化结果证实，所提方法显著提升了特征激活与边界清晰度，尤其在噪声或低对比度区域。
• 该方法通过实现零样本适应，显著降低了对人工标注的依赖，经多个FVC数据库验证，目标传感器无需真实标签。