[论文解读] Robust 3D face recognition in presence of pose and partial occlusions or missing parts

Parama Bagchi, Debotosh Bhattacharjee+1 more|arXiv (Cornell University)|Aug 16, 2014

Face recognition and analysis参考文献 4被引用 3

一句话总结

本文提出了一种鲁棒的3D人脸识别系统，通过使用基于ICP的配准、基于深度图阈值化的遮挡区域检测以及基于PCA的重建方法，有效应对姿态变化和部分遮挡问题。该方法在Bosphorus 3D人脸数据库上实现了91.30%的识别准确率，证明了其在真实环境下因遮挡和姿态变化导致的面部缺失部分具有有效的补偿能力，并显著提升了实际应用中的性能表现。

ABSTRACT

In this paper, we propose a robust 3D face recognition system which can handle pose as well as occlusions in real world. The system at first takes as input, a 3D range image, simultaneously registers it using ICP(Iterative Closest Point) algorithm. ICP used in this work, registers facial surfaces to a common model by minimizing distances between a probe model and a gallery model. However the performance of ICP relies heavily on the initial conditions. Hence, it is necessary to provide an initial registration, which will be improved iteratively and finally converge to the best alignment possible. Once the faces are registered, the occlusions are automatically extracted by thresholding the depth map values of the 3D image. After the occluded regions are detected, restoration is done by Principal Component Analysis (PCA). The restored images, after the removal of occlusions, are then fed to the recognition system for classification purpose. Features are extracted from the reconstructed non-occluded face images in the form of face normals. The experimental results which were obtained on the occluded facial images from the Bosphorus 3D face database, illustrate that our occlusion compensation scheme has attained a recognition accuracy of 91.30%.

研究动机与目标

• 开发一种在真实场景中对姿态变化和部分遮挡具有鲁棒性的3D人脸识别系统。
• 通过引入初始配准步骤，缓解ICP对初始对齐的敏感性问题。
• 利用深度图阈值化与PCA技术检测并重建3D扫描图像中的遮挡面部区域。
• 通过在特征提取前重建非遮挡面部表面，提升识别准确率。
• 在受控遮挡与姿态条件下，于Bosphorus 3D人脸数据库上评估系统的鲁棒性。

提出的方法

• 系统首先接收3D距离图像，并应用迭代 closest point (ICP) 算法将待测人脸与图库模型进行配准，以最小化表面间距离。
• 通过提供初始对齐来提升ICP的收敛性，确保在姿态变化情况下仍能实现鲁棒配准。
• 通过阈值化深度图数值检测遮挡区域，识别出深度异常偏差的区域。
• 利用主成分分析（PCA）对缺失的面部部分进行重建，基于训练集中提取的统计模式。
• 从重建后的非遮挡人脸图像中提取法向量，作为识别的判别性特征。
• 最终通过基于重建3D人脸表面特征的分类方法完成人脸识别。

实验结果

研究问题

• RQ1 当采用合理初始对齐时，基于ICP的配准是否能有效实现不同姿态下3D人脸的对齐？
• RQ2 基于深度图阈值化，能否准确检测3D人脸扫描中的遮挡区域？
• RQ3 PCA在多大程度上能够以高保真度重建3D人脸图像中的缺失面部部分，以支持识别？
• RQ4 遮挡检测与基于PCA的重建相结合，是否能提升在部分遮挡条件下的识别准确率？
• RQ5 在使用姿态归一化且遮挡区域已恢复的重建人脸图像时，于Bosphorus 3D人脸数据库上可实现怎样的识别性能？

主要发现

• 所提出的遮挡补偿方案在Bosphorus 3D人脸数据库上，于部分遮挡与姿态变化条件下实现了91.30%的识别准确率。
• 经过合理初始化的ICP配准显著提升了对齐的鲁棒性，降低了误对齐误差。
• 深度图阈值化能有效检测出因深度异常值而产生的遮挡区域。
• 基于PCA的重建方法成功恢复了缺失的面部结构，保留了对识别至关重要的细节。
• 从重建后的人脸法向量中提取特征，相比使用原始数据或部分遮挡数据，显著提升了识别性能。
• 该系统在真实环境下表现出强鲁棒性，即使在显著的姿态变化与遮挡挑战下，仍能保持高准确率。