[论文解读] YOLO-FaceV2: A Scale and Occlusion Aware Face Detector

Ziping Yu, Hongbo Huang+4 more|arXiv (Cornell University)|Aug 3, 2022

Face recognition and analysis被引用 49

一句话总结

本文提出 YOLO-FaceV2，一款基于 YOLOv5 的人脸检测器，通过感受野增强模块、遮挡感知注意力网络、自适应样本加权以及归一化 Wasserstein 回归损失来处理尺度变化与遮挡，在 WiderFace 上达到最新的结果。

ABSTRACT

In recent years, face detection algorithms based on deep learning have made great progress. These algorithms can be generally divided into two categories, i.e. two-stage detector like Faster R-CNN and one-stage detector like YOLO. Because of the better balance between accuracy and speed, one-stage detectors have been widely used in many applications. In this paper, we propose a real-time face detector based on the one-stage detector YOLOv5, named YOLO-FaceV2. We design a Receptive Field Enhancement module called RFE to enhance receptive field of small face, and use NWD Loss to make up for the sensitivity of IoU to the location deviation of tiny objects. For face occlusion, we present an attention module named SEAM and introduce Repulsion Loss to solve it. Moreover, we use a weight function Slide to solve the imbalance between easy and hard samples and use the information of the effective receptive field to design the anchor. The experimental results on WiderFace dataset show that our face detector outperforms YOLO and its variants can be find in all easy, medium and hard subsets. Source code in https://github.com/Krasjet-Yu/YOLO-FaceV2

研究动机与目标

• 应对大尺度变化、遮挡以及易/难样本不平衡等问题的人脸检测挑战。
• 开发基于 YOLOv5 的实时单阶段人脸检测器，提升对小尺度人脸的检测能力。
• 引入模块以提升遮挡处理、尺度感知和回归鲁棒性。
• 在 WiderFace 上进行评估并与最先进的人脸检测器进行比较。

提出的方法

• 引入 Receptive Field Enhancement (RFE)，通过在 P5 层进行膨胀卷积来扩展和多样化感受野。
• 提出 SEAM，一个遮挡感知的多头注意力模块，用于恢复被遮挡的人脸特征。
• 设计 Slide 损失，根据 IoU 统计自适应地对困难样本与易样本进行加权。
• 定制锚框设计，以有效感受野为导向，更好地适配人脸尺度。
• 将归一化 Wasserstein 距离（NWD）作为回归辅助，与 IoU 一起用于改善小脸定位。

实验结果

研究问题

• RQ1 多尺度融合结合增强感受野，是否可以在不牺牲大脸性能的前提下提高小脸检测？
• RQ2 SEAM 是否有效缓解遮挡引起的特征损失并在遮挡情况下提升召回率？
• RQ3 自适应样本加权（Slide）和以有效感受野为导向的锚框设计是否能解决易难样本不平衡？
• RQ4 将 NWD 与 IoU 结合是否在保持大脸性能的同时提升对小脸的回归鲁棒性？

主要发现

• YOLO-FaceV2 在 WiderFace 验证集上达到 0.987 Easy、0.972 Medium 和 0.877 Hard。
• 在 WiderFace 验证子集上，SEAM 的加入使 Easy 提升 0.88、Medium 提升 0.82、Hard 提升 1.06。
• 将 P2 融入 PAN 并对 RFE 使用膨胀卷积，Hard 的精度提高 2.17 点（在各子集上的相对增益）。
• 以有效感受野为导向的锚框设计带来显著增益，尤其在 Hard 上提升 0.9。
• 单独的 NWD 损失并不优于 IoU，但将 NWD 与 IoU 结合可提升小脸的鲁棒性。
• 排斥损失（RepGT/RepBox）分别使 Easy、Medium 和 Hard 提升 0.71、0.63 和 0.50。