[论文解读] RefineFace: Refinement Neural Network for High Performance Face Detection

Shifeng Zhang, Cheng Chi+2 more|arXiv (Cornell University)|Sep 10, 2019

Face recognition and analysis参考文献 80被引用 20

一句话总结

RefineFace 提出了一种单阶段优化神经网络，通过提升回归精度和分类召回率来增强人脸检测性能。它集成了五个模块——选择性两阶段回归（Selective Two-step Regression）、选择性两阶段分类（Selective Two-step Classification）、尺度感知边缘损失（Scale-aware Margin Loss）、特征监督模块（Feature Supervision Module）和感受野增强（Receptive Field Enhancement），在 WIDER FACE Hard 子集上实现了 90.0% 的 SOTA AP，推理速度达 37.3 FPS，使用 ResNet-18 作为骨干网络。

ABSTRACT

Face detection has achieved significant progress in recent years. However, high performance face detection still remains a very challenging problem, especially when there exists many tiny faces. In this paper, we present a single-shot refinement face detector namely RefineFace to achieve high performance. Specifically, it consists of five modules: Selective Two-step Regression (STR), Selective Two-step Classification (STC), Scale-aware Margin Loss (SML), Feature Supervision Module (FSM) and Receptive Field Enhancement (RFE). To enhance the regression ability for high location accuracy, STR coarsely adjusts locations and sizes of anchors from high level detection layers to provide better initialization for subsequent regressor. To improve the classification ability for high recall efficiency, STC first filters out most simple negatives from low level detection layers to reduce search space for subsequent classifier, then SML is applied to better distinguish faces from background at various scales and FSM is introduced to let the backbone learn more discriminative features for classification. Besides, RFE is presented to provide more diverse receptive field to better capture faces in some extreme poses. Extensive experiments conducted on WIDER FACE, AFW, PASCAL Face, FDDB, MAFA demonstrate that our method achieves state-of-the-art results and runs at $37.3$ FPS with ResNet-18 for VGA-resolution images.

研究动机与目标

• 解决高性能人脸检测的长期挑战，尤其针对极小人脸和极端姿态情况。
• 提升定位精度，以减少因边界框错位（LOC 错误）导致的误报。
• 提升召回效率，以减少误报和漏检（CLS 错误），尤其在复杂场景中。
• 开发一种单阶段检测器，在保持实时推理速度的同时实现 SOTA 准确率。
• 设计一种优化网络，以提升特征学习能力和感受野多样性，实现跨尺度与姿态的鲁棒检测。

提出的方法

• 引入选择性两阶段回归（STR），从高层特征图粗略调整锚框的位置与尺寸，为最终回归器提供更优初始化。
• 采用选择性两阶段分类（STC），从低层特征中过滤出简单负样本，缩小搜索空间，提升分类效率。
• 应用尺度感知边缘损失（SML），增强多尺度下人脸与背景的判别能力，提升泛化性能。
• 引入特征监督模块（FSM），引导主干网络学习更具判别性的特征，以提升分类性能。
• 提出感受野增强（RFE），通过多样化感受野，提升在极端姿态下的检测能力。
• 将所有模块整合为统一的单阶段人脸检测器，联合优化回归与分类，同时保持极低的推理开销。

实验结果

研究问题

• RQ1 基于优化的单阶段检测器是否能在 WIDER FACE 和 FDDB 等挑战性人脸检测基准上实现 SOTA 性能？
• RQ2 两阶段优化策略在不增加推理延迟的前提下，是否能有效提升回归精度？
• RQ3 选择性分类与尺度感知损失在多大程度上可提升召回效率并减少误报？
• RQ4 增强的感受野是否能提升在极端姿态与遮挡场景下的检测鲁棒性？
• RQ5 多个优化模块的集成是否能在多样化的数据集与人脸尺度上带来一致的性能增益？

主要发现

• RefineFace 在 WIDER FACE Hard 子集上实现了 90.0% 的 SOTA 平均精度（AP），相比第二名方法 STN 提升 1.55%。
• 在 FDDB 数据集上，RefineFace 在 1,000 个误报下的真正例率高达 99.11%，在无约束条件下创下新的 SOTA 记录。
• 在 MAFA 数据集上，RefineFace 在全集上达到 83.9% AP，遮挡子集上为 96.2%，未忽略子集上为 95.7%，展现出对遮挡的强大鲁棒性。
• 使用 ResNet-18 在 VGA 分辨率图像上推理速度达 37.3 FPS，表明其在标准 GPU 硬件上具备实时推理能力。
• 消融实验表明，STR、STC、SML、FSM 和 RFE 每个模块均对性能提升有显著贡献，尤其在降低 LOC 和 CLS 错误方面。
• 该方法在 PASCAL Face 上超越九种 SOTA 方法及三种商业检测器，达到 99.45% AP，创下该基准上报告的最高得分。