[论文解读] Palmprint image registration using convolutional neural networks and Hough transform

Mohsen Ahmadi, Hossein Soleimani|arXiv (Cornell University)|Apr 1, 2019

Biometric Identification and Security被引用 5

一句话总结

本文提出了一种基于卷积神经网络（CNN）和广义霍夫变换（GHT）的新型掌纹图像配准方法，用于将掌纹图像对齐至参考图像，显著加速了基于特征点的匹配。通过CNN和GHT估计旋转与平移，该方法实现了更快、更精确的匹配——在THUPALMLAB数据库上实现了每秒166次匹配，Equal Error Rate（EER）为0.04%，同时降低了内存占用，并提升了左右掌纹的区分能力。

ABSTRACT

Minutia-based palmprint recognition systems has got lots of interest in last two decades. Due to the large number of minutiae in a palmprint, approximately 1000 minutiae, the matching process is time consuming which makes it unpractical for real time applications. One way to address this issue is aligning all palmprint images to a reference image and bringing them to a same coordinate system. Bringing all palmprint images to a same coordinate system, results in fewer computations during minutia matching. In this paper, using convolutional neural network (CNN) and generalized Hough transform (GHT), we propose a new method to register palmprint images accurately. This method, finds the corresponding rotation and displacement (in both x and y direction) between the palmprint and a reference image. Exact palmprint registration can enhance the speed and the accuracy of matching process. Proposed method is capable of distinguishing between left and right palmprint automatically which helps to speed up the matching process. Furthermore, designed structure of CNN in registration stage, gives us the segmented palmprint image from background which is a pre-processing step for minutia extraction. The proposed registration method followed by minutia-cylinder code (MCC) matching algorithm has been evaluated on the THUPALMLAB database, and the results show the superiority of our algorithm over most of the state-of-the-art algorithms.

研究动机与目标

• 为解决由于每幅图像中特征点数量庞大（最多可达1,000个）导致的基于特征点的掌纹匹配计算成本过高的问题。
• 通过图像配准将所有掌纹图像对齐至统一坐标系，以减少匹配时间。
• 通过精确的几何对齐最小化跨区域特征点比较，从而提升匹配精度与速度。
• 实现自动的左右掌纹区分，以进一步加速匹配过程。
• 与现有最先进方法相比，降低特征点描述符的内存开销。

提出的方法

• 采用两阶段配准流程：首先，使用CNN估计掌纹图像相对于参考图像的近似旋转角度。
• 随后将图像旋转负向的估计角度，以减少旋转差异。
• 应用广义霍夫变换（GHT）精确估计剩余的平移（x, y）和精确旋转，实现完全对齐。
• 引入两种置信度准则以验证配准成功并提升鲁棒性。
• CNN同时执行语义分割，生成预处理后的分割掌纹图像，便于后续特征点提取。
• 对齐后的图像使用Minutia Cylinder-Code（MCC）算法进行匹配，且仅在对应区域执行匹配。

实验结果

研究问题

• RQ1 混合使用CNN与GHT的方法是否能在实时应用中实现准确且鲁棒的掌纹图像配准？
• RQ2 所提出的配准方法在多大程度上降低了基于特征点匹配的计算复杂度？
• RQ3 自动的左右掌纹识别在多大程度上提升了匹配效率？
• RQ4 图像质量与纹线密度对配准成功率有何影响？
• RQ5 与现有最先进的掌纹匹配系统相比，该方法在准确率与速度方面表现如何？

主要发现

• 所提方法在THUPALMLAB数据库上实现了每秒166次掌纹匹配，Equal Error Rate（EER）为0.04%。
• 每幅图像的配准过程耗时约四秒，但仅在注册阶段执行一次，识别阶段无运行时开销。
• 在总共9,520幅掌纹图像中仅有5幅（不足1%）配准失败，主要原因为图像质量差或缺乏显著特征。
• 该方法将每个特征点的内存占用降低至45字节，显著低于文献[14]中每特征点161字节的内存需求。
• 若无配准，由于对齐不佳及特征点错配，匹配准确率显著下降。
• 在所有错误匹配率（FMR）水平下，该方法在匹配速度与准确率方面均优于多个最先进的算法。