[论文解读] SFace: An Efficient Network for Face Detection in Large Scale Variations

Jianfeng Wang, Ye Yuan+3 more|arXiv (Cornell University)|Apr 18, 2018

Face recognition and analysis参考文献 29被引用 20

一句话总结

SFace 提出了一种混合人脸检测网络，通过高效结合基于锚框和无锚框的方法，有效应对高分辨率图像中的极端尺度变化。通过整合 RetinaNet 风格的定位机制与 UnitBox 风格的回归方法，并引入基于 IOU 的重评分机制，SFace 在 WIDER FACE 数据集上实现了约 50 FPS 下 80.7% 的 AP，优于当前最先进方法的推理速度，同时保持了具有竞争力的准确率。

ABSTRACT

Face detection serves as a fundamental research topic for many applications like face recognition. Impressive progress has been made especially with the recent development of convolutional neural networks. However, the issue of large scale variations, which widely exists in high resolution images/videos, has not been well addressed in the literature. In this paper, we present a novel algorithm called SFace, which efficiently integrates the anchor-based method and anchor-free method to address the scale issues. A new dataset called 4K-Face is also introduced to evaluate the performance of face detection with extreme large scale variations. The SFace architecture shows promising results on the new 4K-Face benchmarks. In addition, our method can run at 50 frames per second (fps) with an accuracy of 80% AP on the standard WIDER FACE dataset, which outperforms the state-of-art algorithms by almost one order of magnitude in speed while achieves comparative performance.

研究动机与目标

• 解决在高分辨率图像（尤其是 4K 超高清内容）中人脸检测面临的尺度剧烈变化挑战。
• 克服传统基于锚框方法的局限性，后者在极端尺度范围内表现不佳，且需要针对任务设计锚框。
• 通过融合基于锚框检测器的优势与无锚框方法的优点，改进后者常因定位不精确而带来的问题。
• 提出一个新的基准数据集 4K-Face，以系统评估在高分辨率设置下极端尺度变化中的人脸检测器性能。
• 在保持标准与新基准上高准确率的同时，实现实时推理速度（50+ FPS）。

提出的方法

• 设计双分支架构：一个分支采用基于锚框的检测（受 RetinaNet 启发），用于中到大尺度（32×32 至 512×512）的精确定位；另一分支采用无锚框检测（受 UnitBox 启发），以隐式检测任意尺寸的人脸。
• 应用一种新颖的基于 IOU 的重评分策略，统一两个分支的置信度分数，实现预测结果的有效且稳定融合。
• 使用特征金字塔网络（FPN）并结合 P3、P4 和 P5 层以处理多尺度特征，同时调整锚框尺度以实现最优性能。
• 在 WIDER FACE 数据集上端到端训练模型，并在 WIDER FACE 和新引入的 4K-Face 基准上进行评估。
• 通过使用轻量级主干网络优化推理速度，实现在 1080p 和 4K 输入下的实时性能。
• 实施多尺度推理策略，通过输入缩放以在不同输入分辨率下保持检测准确率。

实验结果

研究问题

• RQ1 结合基于锚框与无锚框检测的混合架构是否能提升人脸检测在极端尺度变化下的性能？
• RQ2 基于 IOU 的重评分机制在统一两个不同检测分支的置信度分数方面有多有效？
• RQ3 轻量级实时人脸检测器在具有极端尺度变化的高分辨率图像中，能在多大程度上保持高准确率？
• RQ4 与当前最先进检测器相比，所提出的 SFace 模型在速度、准确率和不同尺度范围下的鲁棒性方面表现如何？
• RQ5 引入新基准（4K-Face）对评估超高分辨率设置下人脸检测器的性能有何影响？

主要发现

• 在 WIDER FACE 的 hard 子集上，SFace 达到 80.7% 的 AP，比 RetinaNet（65.0%）和 UnitBox（67.8%）高出约 10 个百分点的平均 AP。
• 在新引入的 4K-Face 基准上，SFace 达到 65.39% 的 AP，显著优于 RetinaNet（53.34%）和 UnitBox（63.82%）。
• 基于 IOU 的重评分方法使 WIDER FACE 上的 AP 从 73.8% 提升至 80.7%，证明其在融合双分支输出方面的有效性。
• SFace 在 WIDER FACE 数据集上推理速度约为 50 FPS，相比当前最先进方法实现了 10 倍的速度提升，同时保持了具有竞争力的准确率。
• 在 1080p 图像上，推理速度达到约 80 FPS；在 2160p（4K）图像上，推理延迟约为 41ms（即 24 FPS），证明其在高分辨率视频中具备实时处理能力。
• 消融实验证实，结合基于锚框与无锚框分支并辅以重评分策略可获得最高性能，验证了该互补设计的有效性。