[论文解读] Shared Representation Learning for Heterogeneous Face Recognition

Yi Dong, Zhen Lei+2 more|arXiv (Cornell University)|Jun 5, 2014

Face recognition and analysis参考文献 29被引用 32

一句话总结

本文提出了一种基于局部受限玻尔兹曼机（RBMs）的新型共享表示学习框架，用于异质性人脸识别，通过从Gabor特征中学习模态不变特征。通过将RBMs局部应用于提取共享表示，并结合主成分分析（PCA），该方法在Sketch-Photo和NIR-VIS人脸识别任务上实现了最先进性能，尤其在CUFS、CASIA HFB和NIR-VIS 2.0数据库上表现优异，且由于无监督预训练，过拟合现象极小。

ABSTRACT

After intensive research, heterogenous face recognition is still a challenging problem. The main difficulties are owing to the complex relationship between heterogenous face image spaces. The heterogeneity is always tightly coupled with other variations, which makes the relationship of heterogenous face images highly nonlinear. Many excellent methods have been proposed to model the nonlinear relationship, but they apt to overfit to the training set, due to limited samples. Inspired by the unsupervised algorithms in deep learning, this paper proposes an novel framework for heterogeneous face recognition. We first extract Gabor features at some localized facial points, and then use Restricted Boltzmann Machines (RBMs) to learn a shared representation locally to remove the heterogeneity around each facial point. Finally, the shared representations of local RBMs are connected together and processed by PCA. Two problems (Sketch-Photo and NIR-VIS) and three databases are selected to evaluate the proposed method. For Sketch-Photo problem, we obtain perfect results on the CUFS database. For NIR-VIS problem, we produce new state-of-the-art performance on the CASIA HFB and NIR-VIS 2.0 databases.

研究动机与目标

• 为解决异质性人脸图像模态（如素描、NIR、VIS）之间非线性、复杂关系的挑战。
• 通过利用无监督预训练，减少异质性人脸识别中常见低数据量情况下的过拟合。
• 通过局部特征建模与共享表示学习，学习模态不变且具有判别性的表示。
• 与现有最先进方法相比，提升在CUFS、CASIA HFB和NIR-VIS 2.0等基准数据库上的识别准确率。

提出的方法

• 从人脸关键点提取局部Gabor特征，以捕捉纹理和边缘信息。
• 在局部特征块上训练多个三层受限玻尔兹曼机（RBMs），以学习共享的、模态不变的表示。
• 采用具有权重共享和局部连接的局部RBMs架构，以参数高效的方式建模非线性关系。
• 将所有局部RBMs的隐层表示拼接，形成全局特征向量。
• 应用主成分分析（PCA）以降低维度并去除非判别性分量。
• 在最终经PCA处理的共享表示上，使用余弦相似度匹配查询图像与图库图像。

实验结果

研究问题

• RQ1 通过RBMs进行无监督深度学习，能否有效建模异质性人脸图像模态之间的高度非线性关系？
• RQ2 与全局或卷积RBMs方法相比，基于局部RBMs的特征学习在异质性人脸识别中的泛化能力和性能表现是否更优？
• RQ3 共享表示学习在在多大程度上能减少模态特异性差异，同时保留身份判别性信息？
• RQ4 与传统PCA或仅使用Gabor的基线方法相比，RBMs预训练的集成在具有挑战性的数据库上如何提升识别准确率？

主要发现

• 所提方法在CUFS数据库上实现了Sketch-Photo人脸识别的完美性能，首次达到该基准的饱和水平。
• 在CASIA HFB数据库上，该方法在FAR=0.1%时实现了90.85%的Rank-1识别率，优于先前最先进方法。
• 在更具挑战性的NIR-VIS 2.0数据库上，该方法在去除11个主成分后，仍实现了86.16%的Rank-1识别率，显著优于基线方法PCA+Sym+HCA（23.7%）。
• 消融实验表明，局部RBMs在模型复杂度与泛化能力之间提供了最佳平衡，优于全局和卷积RBM变体。
• 使用RBMs使性能曲线随去除主成分数量的变化更加平滑，表明鲁棒性更强，且对超参数调优的敏感性更低。
• 失败案例主要源于姿态变化、眼镜上的镜面反射以及表情差异，这些因素即使在光谱异质性条件下仍具挑战性。