[论文解读] Real-Time Face Recognition System

Adarsh Ghimire, Naoufel Werghi+2 more|arXiv (Cornell University)|Apr 19, 2022

Face and Expression Recognition被引用 8

一句话总结

本文提出一种基于 YOLOv5n0.5 的实时人脸识别系统，用于快速、准确地检测人脸，同时采用 MobileFaceNet 实现高效的人脸验证。在使用 TensorRT 优化后，该系统在 Jetson TX2 上实现了 152 FPS 的处理速度，且不受人脸数量影响，稳定在 75 FPS，可在机器人平台实现鲁棒的实时部署。

ABSTRACT

Over the past few decades, interest in algorithms for face recognition has been growing rapidly and has even surpassed human-level performance. Despite their accomplishments, their practical integration with a real-time performance-hungry system is not feasible due to high computational costs. So in this paper, we explore the recent, fast, and accurate face recognition system that can be easily integrated with real-time devices, and tested the algorithms on robot hardware platforms to confirm their robustness and speed.

研究动机与目标

• 通过优化检测与验证组件，解决实时人脸识别系统中的计算瓶颈问题。
• 实现在资源受限的机器人平台上集成最先进的人脸识别技术，并实现实时性能。
• 克服传统人脸检测器和重型验证模型在嵌入式系统中产生的高延迟问题。
• 在边缘设备（如 Jetson TX2）上同时实现高精度与高速度，以支持部署。
• 在嵌入式硬件上，于不同光照条件、人脸尺寸及多人场景下，验证系统的鲁棒性。

提出的方法

• 选择 YOLOv5n0.5 作为人脸检测器，因其在速度、精度与嵌入式系统上 PyTorch 兼容性之间实现了良好平衡。
• 使用 TensorRT 对 YOLOv5n0.5 模型进行优化，显著提升其在 Jetson TX2 上的推理速度。
• 选择 MobileFaceNet 用于人脸验证，因其浮点运算量低、模型尺寸小（4 MB），且在 LFW 数据集上达到 99.55% 的高精度。
• 对 MobileFaceNet 权重应用量化处理，以在 Jetson TX2 上稳定推理速度，即使人脸数量增加，仍保持 75 FPS。
• 在 CPU、Colab GPU 和 Jetson TX2 多个平台上评估性能，以确保跨平台兼容性。
• 将优化后的检测与验证模型整合为完整流水线，实现在机器人硬件上的实时人脸识别。

实验结果

研究问题

• RQ1 能否在边缘设备（如 Jetson TX2）上有效部署轻量化、快速且高精度的人脸检测模型？
• RQ2 通过 TensorRT 优化对嵌入式平台上基于深度学习的人脸检测器推理速度有何影响？
• RQ3 人脸验证模型是否能在帧中人脸数量变化的情况下保持一致的实时性能？
• RQ4 在为实时系统选择人脸识别组件时，模型精度、FLOPS 与推理速度之间的权衡关系如何？
• RQ5 在低功耗机器人平台上，是否可行实现实时的人类水平人脸识别性能？

主要发现

• YOLOv5n0.5 在转换为 TensorRT 后，于 Jetson TX2 上实现 152 FPS，相比原始 PyTorch 实现提升约 10 倍。
• 优化后的 YOLOv5n0.5 模型在 WiderFace 的易样本集和难样本集上分别保持 90.8% 和 73.8% 的高精度。
• MobileFaceNet 在 Jetson TX2 上无论帧中人脸数量多少，均稳定在 75 FPS，展现出稳定的实时性能。
• 对 MobileFaceNet 权重进行量化处理后，虽在 CPU 上性能保持不变，但在 Jetson TX2 上显著提升了推理速度并实现了稳定加速。
• 系统整体在单块 Jetson TX2 板卡上实现了实时性能（检测 152 FPS，验证 75 FPS）。
• 系统在低光照、小尺寸人脸等挑战性条件下表现出色，优于传统检测器如 Dlib 和 Haar Cascade。