[论文解读] Robust RGB-D Face Recognition Using Attribute-Aware Loss

Luo Jiang, Juyong Zhang+1 more|arXiv (Cornell University)|Nov 24, 2018

Face recognition and analysis参考文献 53被引用 5

一句话总结

本文提出了一种针对RGB-D人脸识别的属性感知损失函数，通过根据性别、种族和年龄等属性对特征相似性进行正则化，提升了特征的可分性。通过在包含10万+身份的大规模RGB-D数据集上训练时整合这些属性信息，该方法在LFW数据集上实现了98.42%的最先进准确率，优于仅使用RGB图像或特征融合的基线模型，同时保持了较低的推理开销。

ABSTRACT

Existing convolutional neural network (CNN) based face recognition algorithms typically learn a discriminative feature mapping, using a loss function that enforces separation of features from different classes and/or aggregation of features within the same class. However, they may suffer from bias in the training data such as uneven sampling density, because they optimize the adjacency relationship of the learned features without considering the proximity of the underlying faces. Moreover, since they only use facial images for training, the learned feature mapping may not correctly indicate the relationship of other attributes such as gender and ethnicity, which can be important for some face recognition applications. In this paper, we propose a new CNN-based face recognition approach that incorporates such attributes into the training process. Using an attribute-aware loss function that regularizes the feature mapping using attribute proximity, our approach learns more discriminative features that are correlated with the attributes. We train our face recognition model on a large-scale RGB-D data set with over 100K identities captured under real application conditions. By comparing our approach with other methods on a variety of experiments, we demonstrate that depth channel and attribute-aware loss greatly improve the accuracy and robustness of face recognition.

研究动机与目标

• 解决人脸识别训练数据中采样密度不均的问题，该问题可能导致特征空间中的距离关系失真。
• 通过在训练过程中引入性别、种族和年龄等非外观属性，提升识别的鲁棒性。
• 利用RGB-D传感器提供的深度信息，提升在不同光照条件下的性能表现。
• 开发一种训练方法，在避免复杂特征融合的同时，保持高准确率和极低的计算开销。
• 证明属性感知正则化能够提升深度人脸嵌入的泛化能力与特征紧凑性。

提出的方法

• 提出一种属性感知损失函数，强制在邻近的训练样本中，特征差异与属性差异之间保持线性关系。
• 使用线性变换G将属性向量映射到特征空间，确保属性相似的样本在特征空间中也更接近。
• 在包含超过10万个身份、在真实世界条件下采集的大规模RGB-D数据集上训练CNN模型，对齐深度图与RGB图像，并对深度值进行归一化处理。
• 将属性感知损失与标准的Softmax分类损失相结合，使用边距τ = 0.58来控制特征分离的程度。
• 采用单阶段训练流程，避免了多模型融合或复杂张量分解的需要。
• 采用学习率衰减策略，在16K和24K次迭代时进行衰减，训练共28K次迭代，属性感知损失项的权重设为0.001。

实验结果

研究问题

• RQ1 在损失函数中引入性别、种族等非外观属性，是否能够提升深度人脸识别的鲁棒性与准确率？
• RQ2 结合属性感知监督与深度信息，是否能在真实世界光照与姿态变化下实现更好的泛化性能？
• RQ3 与传统的度量学习损失函数（如三元组损失）或基于Softmax的方法相比，属性感知损失在收敛速度与性能表现上有何差异？
• RQ4 属性感知正则化是否能够缓解训练数据中采样密度不均带来的负面影响？
• RQ5 属性感知损失在多大程度上提升了嵌入空间中的特征紧凑性与类间分离度？

主要发现

• 所提出的属性感知损失在LFW数据集上实现了98.42%的验证准确率，优于基线Softmax模型（97.43%）和GTNN特征融合方法（97.78%）。
• 该方法在仅使用外观特征的模型（FRFs）和仅使用面部属性特征的模型（FAFs）之上表现更优，证明了联合优化属性监督的优越性。
• 属性感知损失仅带来可忽略的模型参数增加，且在推理阶段由于损失层被移除，不引入任何额外计算开销。
• 在包含超过10万个身份的大规模RGB-D数据集上训练的模型，在不同光照与表情条件下均表现出强大的泛化能力。
• 深度信息的使用显著增强了对光照变化的鲁棒性，而属性正则化则在无需显式几何建模的情况下改善了特征空间的结构。
• 消融实验确认，属性感知损失能有效减少具有相似属性身份的特征发散，从而提升类内紧凑性。