[论文解读] von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification

Md. Abul Hasnat, Julien Bohné+3 more|arXiv (Cornell University)|Jun 13, 2017

Face recognition and analysis参考文献 68被引用 61

一句话总结

本论文提出基于 vMF 混合模型的损失（vMFML），用于学习方向性 CNN 特征，在若干人脸验证基准上达到最先进的结果。

ABSTRACT

A number of pattern recognition tasks, extit{e.g.}, face verification, can be boiled down to classification or clustering of unit length directional feature vectors whose distance can be simply computed by their angle. In this paper, we propose the von Mises-Fisher (vMF) mixture model as the theoretical foundation for an effective deep-learning of such directional features and derive a novel vMF Mixture Loss and its corresponding vMF deep features. The proposed vMF feature learning achieves the characteristics of discriminative learning, extit{i.e.}, compacting the instances of the same class while increasing the distance of instances from different classes. Moreover, it subsumes a number of popular loss functions as well as an effective method in deep learning, namely normalization. We conduct extensive experiments on face verification using 4 different challenging face datasets, extit{i.e.}, LFW, YouTube faces, CACD and IJB-A. Results show the effectiveness and excellent generalization ability of the proposed approach as it achieves state-of-the-art results on the LFW, YouTube faces and CACD datasets and competitive results on the IJB-A dataset.

研究动机与目标

• 为使用 von Mises-Fisher 混合模型学习方向性深度特征提供理论基础。
• 开发 vMF 混合损失（vMFML），并将其与 CNNs 集成以实现判别特征学习。
• 在多样化的人脸验证数据集（LFW、YTF、CACD、IJB-A）上展示强泛化能力。
• 展示 vMFML 与现有损失函数和归一化方法之间的关系。

提出的方法

• 将人脸特征建模为等类特权的 von Mises-Fisher 分布混合（vMFMM）。
• 通过用基于 vMF 的后验和交叉熵目标替换 softmax，推导出 vMF 混合损失（vMFML）。
• 将类别中心表示为均值方向 mu，浓度为 kappa，并将特征单位化。
• 提供端到端 CNN 训练时使用 vMFML 的梯度和反向传播规则。
• 使用基于 ResNet 的 CNN（Res-27）提取 512 维的方向特征并进行单位化。
• 讨论 vMFML 与流行损失（softmax 变体、中心损失、角度/大间距）及归一化方案之间的理论联系。

实验结果

研究问题

• RQ1 vMF 混合损失（vMFML）是否通过将同一类别特征聚集在 mu 周围并在单位超球上将类别分离来实现判别学习？
• RQ2 vMFML 如何与并包含在人脸识别中使用的其他损失函数（如 softmax 变体、中心损失、角度边距损失）相关？
• RQ3 在标准人脸验证基准（LFW、YouTube Faces、CACD、IJB-A）上，通过 vMFML 训练的 CNN 的表现如何？
• RQ4 所提出的方法是否能够跨数据集在姿态、光照、年龄变化下进行泛化？

主要发现

• 通过将同一类别特征聚集在 mu 周围并具有可控的 kappa，同时在单位球上将类别分离，vMFML 实现了判别特征学习。
• 该方法在 LFW、YouTube Faces 和 CACD 数据集上取得了最先进的结果。
• 在 IJB-A 上，该方法表现出具有竞争力的性能（摘要中报告的 TAR@FAR=0.001 = 85%）。
• 只需要一个用 vMFML 训练的 CNN 模型，避免了多损失项和额外的度量学习步骤。
• 该方法通过单位范数特征和 mu 的归一化实现了归一化，训练高效且参数可解释（mu 和 kappa）。
• 该工作表明 vMFML 包含或关联若干现有的 FR 损失和归一化策略，为理解它们提供了理论视角。