[论文解读] One-to-many face recognition with bilinear CNNs

Aruni RoyChowdhury, Tsung‐Yu Lin+2 more|arXiv (Cornell University)|Jun 3, 2015

Face recognition and analysis参考文献 23被引用 8

一句话总结

本文提出在 IARPA Janus 基准测试 A（IJB-A）上使用双线性卷积神经网络（B-CNNs）进行一对一至多对一的人脸识别，相较于标准卷积神经网络（CNNs）展现出显著的性能提升。通过将预训练网络的特征图应用双线性池化操作，该方法捕捉了高阶特征交互，经在 FaceScrub 和 IJB-A 训练数据上微调后，实现 89.5% 的 rank-1 召回率；即使直接应用于未微调的预训练 VGG-Face 模型，亦能显著提升性能。

ABSTRACT

The recent explosive growth in convolutional neural network (CNN) research has produced a variety of new architectures for deep learning. One intriguing new architecture is the bilinear CNN (B-CNN), which has shown dramatic performance gains on certain fine-grained recognition problems [15]. We apply this new CNN to the challenging new face recognition benchmark, the IARPA Janus Benchmark A (IJB-A) [12]. It features faces from a large number of identities in challenging real-world conditions. Because the face images were not identified automatically using a computerized face detection system, it does not have the bias inherent in such a database. We demonstrate the performance of the B-CNN model beginning from an AlexNet-style network pre-trained on ImageNet. We then show results for fine-tuning using a moderate-sized and public external database, FaceScrub [17]. We also present results with additional fine-tuning on the limited training data provided by the protocol. In each case, the fine-tuned bilinear model shows substantial improvements over the standard CNN. Finally, we demonstrate how a standard CNN pre-trained on a large face database, the recently released VGG-Face model [20], can be converted into a B-CNN without any additional feature training. This B-CNN improves upon the CNN performance on the IJB-A benchmark, achieving 89.5% rank-1 recall.

研究动机与目标

• 解决在存在显著姿态与外观变化的非约束、真实世界条件下进行一对多人脸识别的挑战。
• 评估原本为细粒度识别设计的双线性卷积神经网络在 IJB-A 基准测试中的有效性，该基准测试包含多样化且人工精心筛选的人脸图像。
• 探究在外部人脸数据集（如 FaceScrub）上对双线性模型进行微调是否能显著提升性能，优于标准 CNN。
• 证明预训练的 VGG-Face 网络可直接转换为 B-CNN 而无需重新训练，且性能得以提升。

提出的方法

• 双线性卷积神经网络架构通过计算两个并行流网络激活图的外积，再经空间平均池化，生成高阶特征表示。
• 采用特征级池化组合每个查询模板的多张图像，相比评分级池化，对姿态与视角变化更具鲁棒性。
• 模型从 ImageNet 预训练的 AlexNet 风格网络初始化，并在公开的 FaceScrub 数据集与 IJB-A 训练集上进行微调。
• 通过将预训练的 VGG-Face 模型的最后全连接层替换为双线性层，将其转换为 B-CNN，而无需重新训练特征提取器。
• 使用基于双线性特征提取的画廊嵌入向量，通过一对多 SVM 分类器执行识别任务。
• 在开放集 1:N 协议下，采用标准指标评估性能：累积匹配特性（CMC）曲线与决策误差权衡（DET）曲线。

实验结果

研究问题

• RQ1 双线性卷积神经网络是否能在 IJB-A 基准测试中实现优越性能，该测试呈现具有挑战性的现实世界人脸识别条件？
• RQ2 在外部人脸数据集（如 FaceScrub）上对双线性模型进行微调是否能带来显著性能提升，优于标准 CNN？
• RQ3 能否在不进行额外训练的情况下，有效将预训练的深度人脸识别模型（如 VGG-Face）转换为 B-CNN，且性能是否得以提升？
• RQ4 在多图像模板场景中，不同池化策略（特征级 vs. 评分级）如何影响识别准确率？

主要发现

• 在 FaceScrub 和 IJB-A 训练集上同时微调的双线性 CNN 模型在 IJB-A 基准测试中实现了 89.5% 的 rank-1 召回率，显著优于标准 CNN 基线模型。
• 即使未进行额外微调，预训练 VGG-Face 模型的双线性版本也实现了 89.5% 的 rank-1 召回率，略高于原始 VGG-Face CNN 的 89.2%。
• 双线性模型在所有评估协议中均持续优于标准 CNN，尤其在开放集识别设置下性能增益最大。
• 特征级池化比评分级池化快约 2 倍，且准确率差异可忽略，因此更适合实时部署。
• 在 Tesla K40 GPU 上，对双线性模型在 FaceScrub 上进行微调耗时约 2 天，最终模型在 FPIR=0.1 时达到 FNIR=0.659。
• B-CNN 架构对姿态变化和多图像模板具有鲁棒性，且在不同池化与训练策略下性能增益均得以保持。