[论文解读] SeesawFaceNets: sparse and robust face verification model for mobile platform

Jintao Zhang|arXiv (Cornell University)|Aug 24, 2019

Face recognition and analysis参考文献 61被引用 4

一句话总结

SeesawFaceNets 通过将一种新型的 Seesaw-block 与挤压-激励（SE）模块集成到基于 MobileNetV2 的架构中，提出了一种轻量化、稀疏且鲁棒的移动端人脸验证模型。该模型在多个基准测试中实现了最先进（SOTA）的准确率，相比 MobiFace 等 SOTA 模型，其 FLOPs 降低了 66%（146M 对比 221M），参数量减少了 54.2%（1.3M 对比 2.4M），同时在计算和内存资源受限的条件下仍保持高性能。

ABSTRACT

Deep Convolutional Neural Network (DCNNs) come to be the most widely used solution for most computer vision related tasks, and one of the most important application scenes is face verification. Due to its high-accuracy performance, deep face verification models of which the inference stage occurs on cloud platform through internet plays the key role on most prectical scenes. However, two critical issues exist: First, individual privacy may not be well protected since they have to upload their personal photo and other private information to the online cloud backend. Secondly, either training or inference stage is time-comsuming and the latency may affect customer experience, especially when the internet link speed is not so stable or in remote areas where mobile reception is not so good, but also in cities where building and other construction may block mobile signals. Therefore, designing lightweight networks with low memory requirement and computational cost is one of the most practical solutions for face verification on mobile platform. In this paper, a novel mobile network named SeesawFaceNets, a simple but effective model, is proposed for productively deploying face recognition for mobile devices. Dense experimental results have shown that our proposed model SeesawFaceNets outperforms the baseline MobilefaceNets, with only {\bf66\%}(146M VS 221M MAdds) computational cost, smaller batch size and less training steps, and SeesawFaceNets achieve comparable performance with other SOTA model e.g. mobiface with only {\bf54.2\%}(1.3M VS 2.4M) parameters and {\bf31.6\%}(146M VS 462M MAdds) computational cost, It is also eventually competitive against large-scale deep-networks face recognition on all 5 listed public validation datasets, with {\bf6.5\%}(4.2M VS 65M) parameters and {\bf4.35\%}(526M VS 12G MAdds) computational cost.

研究动机与目标

• 通过实现设备端推理，解决基于云的人脸验证中的隐私和延迟问题。
• 设计一种轻量级深度神经网络，在移动端平台以极低的计算和内存开销维持高准确率。
• 通过架构创新改进现有移动端人脸识别模型（如 MobileFaceNet），在不增加推理复杂度的前提下提升性能。
• 在公共基准测试中实现具有显著减小模型尺寸和 FLOPs 的竞争力表现。

提出的方法

• 提出 Seesaw-block，一种改进的倒残差块，其跳跃连接分支采用 2×2 最大池化与 1×1 卷积，以增强特征重用。
• 采用挤压-激励（SE）模块，自适应地重新校准通道特征，以极低的计算开销提升表征学习能力。
• 采用基于 MobileNetV2 的移动端友好架构，利用深度可分离卷积和倒残差瓶颈结构，降低 FLOPs 和参数量。
• 在人脸验证数据集上端到端训练模型，采用标准优化方法并减少小批量大小和训练步数，以降低资源需求。
• 应用模型压缩技术，如参数剪枝和高效模块设计，在严格硬件约束下保持性能。
• 在多个公开基准测试上使用标准评估协议验证架构，确保其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 能否通过稀疏且高效的神经网络架构，在显著降低 FLOPs 和参数量的前提下，实现在移动端设备上具有竞争力的人脸验证准确率？
• RQ2 与标准残差块或倒残差块相比，Seesaw-block 在特征学习和模型效率方面有何改进？
• RQ3 在相同硬件和训练约束条件下，所提出的模型在多大程度上能超越现有 SOTA 轻量化人脸识别模型（如 MobileFaceNet 和 MobiFace）？
• RQ4 在不增加计算成本的前提下，SE 模块与 Seesaw-block 的集成是否能增强模型在多样化人脸验证数据集上的鲁棒性？
• RQ5 在 GPU 显存有限、小批量大小的情况下，该模型能否实现高效训练并保持高准确率？

主要发现

• SeesawFaceNets 在 FLOPs 上相比 MobileFaceNet 降低了 66%（146M 对比 221M MAdds），同时在全部五个基准测试中保持了相当或更优的准确率。
• 该模型仅使用 MobiFace 参数量的 54.2%（1.3M 对比 2.4M）和 FLOPs 的 31.6%（146M 对比 462M MAdds），但在 LFW 及其他数据集上表现具有竞争力。
• 更深更宽的变体 DW-SeesawFaceNet 在参数量仅占大型深度网络 6.5%（4.2M 对比 65M）和 FLOPs 仅占 4.35%（526M 对比 12G MAdds）的情况下，实现了与大规模深度网络相当的性能。
• 带跳跃连接的 Seesaw-block 在不增加额外计算量的前提下，通过消融实验验证了其可提升特征重用和模型准确率。
• 该模型可在批量大小为 128 的条件下高效训练，仅需 22GB GPU 显存，支持在消费级硬件上从零开始训练。
• 在全部五个公开数据集（LFW、AgeDB-30、CFP-FP、CPLFW 和 CALFW）上，SeesawFaceNets 在准确率-效率比方面始终优于 MobileFaceNet 和其他 SOTA 轻量化模型。