[论文解读] Pairwise Relational Networks for Face Recognition

Bong-Nam Kang, Yonghyun Kim+1 more|arXiv (Cornell University)|Aug 15, 2018

Face recognition and analysis参考文献 31被引用 10

一句话总结

本文提出了一种成对关系网络（PRN）用于人脸识别，通过关系注意力机制捕捉面部关键点周围判别性局部外观块之间的关系，并利用身份条件化的LSTM状态进行增强。该方法实现了最先进性能，在LFW上达到99.76%的准确率，在YTF上达到96.3%，通过结合全局特征与关系表征实现。

ABSTRACT

Existing face recognition using deep neural networks is difficult to know what kind of features are used to discriminate the identities of face images clearly. To investigate the effective features for face recognition, we propose a novel face recognition method, called a pairwise relational network (PRN), that obtains local appearance patches around landmark points on the feature map, and captures the pairwise relation between a pair of local appearance patches. The PRN is trained to capture unique and discriminative pairwise relations among different identities. Because the existence and meaning of pairwise relations should be identity dependent, we add a face identity state feature, which obtains from the long short-term memory (LSTM) units network with the sequential local appearance patches on the feature maps, to the PRN. To further improve accuracy of face recognition, we combined the global appearance representation with the pairwise relational feature. Experimental results on the LFW show that the PRN using only pairwise relations achieved 99.65% accuracy and the PRN using both pairwise relations and face identity state feature achieved 99.76% accuracy. On the YTF, both the PRN using only pairwise relations and the PRN using pairwise relations and the face identity state feature achieved the state-of-the-art (95.7% and 96.3%). The PRN also achieved comparable results to the state-of-the-art for both face verification and face identification tasks on the IJB-A, and the state-of-the-art on the IJB-B.

研究动机与目标

• 为解决深度人脸识别中可解释性不足的问题，即难以明确哪些特征用于区分身份。
• 建模特征图上局部面部外观块之间的身份相关成对关系，以提升判别能力。
• 通过整合全局外观特征与局部关系表征，提升人脸识别准确率。
• 开发一种机制，利用序列化局部块特征对关系处理进行身份状态条件化。
• 在多个基准数据集上验证该方法在非约束条件下的性能，包括LFW、YTF、IJB-A和IJB-B。

提出的方法

• PRN从主干CNN的特征图中，围绕面部关键点提取局部外观块。
• 使用可学习的关系注意力机制，计算所有局部块对之间的成对关系。
• 通过处理局部块序列的LSTM生成身份状态特征，将身份上下文条件化于关系计算中。
• 最终表征结合主干CNN的全局特征向量与PRN的关系特征。
• 使用带有困难样本挖掘的三元组损失进行模型训练，以优化身份分离与判别能力。
• 使用深度回归模型（DAN）进行人脸对齐，以在提取块之前对齐面部关键点。

实验结果

研究问题

• RQ1 特征图上局部面部块之间的成对关系是否能提升非约束环境下的人脸识别性能？
• RQ2 将关系计算条件化于身份状态特征，对判别能力与识别准确率有何影响？
• RQ3 关系特征在多大程度上与全局表征互补，用于人脸识别任务？
• RQ4 所提出的PRN是否在LFW、YTF、IJB-A和IJB-B等标准基准上达到最先进性能？
• RQ5 该模型是否能在人脸验证与识别任务中均实现一致的性能提升，具备良好的泛化能力？

主要发现

• 仅使用成对关系的PRN在LFW数据集上达到99.65%的准确率，表明其在极少依赖全局特征的情况下仍具备强大性能。
• 完整PRN模型（结合全局特征、成对关系与身份状态）在LFW上达到99.76%的准确率，创下新的最先进水平。
• 在YTF数据集上，PRN在仅使用成对关系时达到95.7%的准确率，在引入身份状态后提升至96.3%，均为最先进结果。
• 在IJB-B上，PRN模型（模型C）在FAR=0.00001时达到最先进TAR为0.721，在FPIR=0.01时达到TPIR为0.814，Rank-10准确率为0.975。
• 身份状态特征显著提升了基线PRN的性能，证实其在建模身份相关关系语义中的关键作用。
• PRN在所有数据集与任务中均持续优于基础CNN与仅PRN模型，验证了关系与身份条件化组件的有效性。