[论文解读] SeqFace: Make full use of sequence information for face recognition

Wei Hu, Yangyu Huang+4 more|arXiv (Cornell University)|Mar 17, 2018

Face recognition and analysis参考文献 6被引用 7

一句话总结

SeqFace 提出了一种新颖的深度学习框架，通过联合训练身份标注数据集和序列数据，利用视频中的未标注人脸序列来提升人脸识别性能。它引入了标签平滑正则化（LSR）和一种新型判别性序列代理（DSA）损失，以增强特征判别能力，在仅使用 ResNet-64 主干网络的情况下，于 LFW 上实现了 99.83% 的最先进准确率，在 YTF 上达到了 98.12%。

ABSTRACT

Deep convolutional neural networks (CNNs) have greatly improved the Face Recognition (FR) performance in recent years. Almost all CNNs in FR are trained on the carefully labeled datasets containing plenty of identities. However, such high-quality datasets are very expensive to collect, which restricts many researchers to achieve state-of-the-art performance. In this paper, we propose a framework, called SeqFace, for learning discriminative face features. Besides a traditional identity training dataset, the designed SeqFace can train CNNs by using an additional dataset which includes a large number of face sequences collected from videos. Moreover, the label smoothing regularization (LSR) and a new proposed discriminative sequence agent (DSA) loss are employed to enhance discrimination power of deep face features via making full use of the sequence data. Our method achieves excellent performance on Labeled Faces in the Wild (LFW), YouTube Faces (YTF), only with a single ResNet. The code and models are publicly available on-line (https://github.com/huangyangyu/SeqFace).

研究动机与目标

• 解决大规模、高质量身份标注人脸数据集在训练深度人脸识别模型时成本高昂且资源稀缺的问题。
• 探索未标注视频人脸序列作为补充训练信号的潜力，以提升特征判别能力。
• 开发一种有效整合未显式标注身份的序列数据到现有人脸识别流程中的训练框架。
• 提出新型损失函数（LSR 和 DSA 损失），利用序列数据增强类内紧凑性和类间分离性。
• 证明即使使用如 ResNet-27/64 这类简单的网络架构，序列数据也能显著提升性能。

提出的方法

• 该框架在两种数据类型上联合训练卷积神经网络：一种是标准的身份标注数据集（如 MS-Celeb-1M），另一种是包含视频中时间有序人脸片段的序列数据集。
• 使用标签平滑正则化（LSR）对主损失（如 Softmax 损失）进行正则化，以处理序列数据中身份不明确带来的模糊性。
• 提出一种辅助的 DSA（判别性序列代理）损失，通过促进序列中同类样本的特征紧凑性和异类样本的特征分离性，增强特征判别能力。
• DSA 损失的设计利用了序列中的时间一致性，促使同一身份在多个帧上的特征紧密聚类，同时与其它身份的特征保持分离。
• 模型通过主分类损失与 DSA 辅助损失的联合优化进行端到端训练，有效利用了标注身份和未标注序列数据。
• 该框架可兼容任意主干卷积神经网络（如 ResNet），并可扩展支持 ArcFace 或 CosFace 等先进损失函数。

实验结果

研究问题

• RQ1 未标注的视频人脸序列是否可被有效利用，以在无需身份标注的情况下提升人脸识别性能？
• RQ2 在依赖分类或度量学习的深度学习框架中，如何将缺乏显式身份标签的序列数据整合进来？
• RQ3 所提出的 DSA 损失是否在利用序列数据增强特征判别能力方面优于现有辅助损失（如中心损失）？
• RQ4 当使用身份数据和序列数据联合训练时，简单的 ResNet 架构在多大程度上可实现最先进性能？
• RQ5 LSR 与 DSA 损失的组合是否能有效降低类内差异并增大类间特征间隔？

主要发现

• SeqFace 在 LFW 基准测试中实现了 99.83% 的验证准确率，超越了之前由更深的 ResNet-50 搭载 ArcFace 实现的 99.78% 最先进水平。
• 在 YTF 基准测试中，SeqFace 达到 98.12% 的准确率，优于之前使用 500 万张图像数据集的 CosFace 所实现的 97.6% 最先进水平。
• 即使使用更浅的 ResNet-27，SeqFace 在 LFW 上仍达到 99.50% 的准确率，在 YTF 上达到 95.7%，证明其在极低模型复杂度下仍具备强大性能。
• 消融实验表明，LSR 和 DSA 损失均对性能提升有显著贡献，其中 DSA 损失在类间分离性方面优于中心损失。
• 当序列数据集（Celeb-Seq）与身份训练集（MS-Celeb-1M）之间无身份重叠时，该框架依然有效，验证了其泛化能力。
• 结果表明，序列数据可作为昂贵的身份标注数据集在人脸识别中的强大、可扩展且成本效益高的替代方案。