[论文解读] Scale-Aware Face Detection

Zekun Hao, Yu Liu+4 more|arXiv (Cornell University)|Jun 29, 2017

Face recognition and analysis参考文献 36被引用 28

一句话总结

本文提出了一种尺度感知的人脸检测方法（SAFD），这是一种两阶段的人脸检测框架，通过首先利用轻量级尺度建议网络（SPN）估计人脸尺度分布，然后对图像进行重缩放以优化检测，从而在不进行多尺度测试的前提下显著降低计算量，同时保持高召回率和高精度。SAFD在FDDB、MALF和AFW数据集上实现了最先进性能。

ABSTRACT

Convolutional neural network (CNN) based face detectors are inefficient in handling faces of diverse scales. They rely on either fitting a large single model to faces across a large scale range or multi-scale testing. Both are computationally expensive. We propose Scale-aware Face Detector (SAFD) to handle scale explicitly using CNN, and achieve better performance with less computation cost. Prior to detection, an efficient CNN predicts the scale distribution histogram of the faces. Then the scale histogram guides the zoom-in and zoom-out of the image. Since the faces will be approximately in uniform scale after zoom, they can be detected accurately even with much smaller CNN. Actually, more than 99% of the faces in AFW can be covered with less than two zooms per image. Extensive experiments on FDDB, MALF and AFW show advantages of SAFD.

研究动机与目标

• 为解决基于CNN的人脸检测器在处理大规模尺度变化时计算量过大的问题。
• 通过在检测前显式建模尺度变化，降低人脸检测的计算成本。
• 通过尺度估计对人脸尺度进行归一化，使小型单尺度检测器实现高精度检测。
• 设计一种弱监督、轻量级的SPN，无需边界框标注即可预测尺度直方图。
• 证明尺度感知的预处理可实现比多尺度测试更快、更准确的检测。

提出的方法

• 一个全卷积的尺度建议网络（SPN）从输入图像中预测全局人脸尺度直方图，使用图像级监督且无需真实边界框。
• SPN输出一个固定长度的直方图向量，编码不同尺度下人脸存在的可能性，尺度分辨率为0.1（以对数尺度从8到512像素）。
• 基于预测的尺度直方图，将输入图像重缩放到目标尺度范围（36–72像素），以确保所有人脸均落在检测器的最佳感受野内。
• 检测阶段使用一个针对窄尺度范围优化的单尺度区域建议网络（RPN），从而提升准确率和速度。
• 两阶段流水线——SPN用于尺度估计，随后由RPN执行检测——实现了高效、高精度的推理，显著降低FLOPs。
• SPN与RPN可共享卷积层，进一步减小模型大小并降低计算量。

实验结果

研究问题

• RQ1 显式尺度估计是否能在保持或提升准确率的同时降低人脸检测的计算成本？
• RQ2 轻量级、弱监督的SPN在无边界框标注的情况下，预测相关人脸尺度的有效性如何？
• RQ3 当结合尺度感知的图像重缩放时，单尺度检测在多大程度上能优于多尺度测试？
• RQ4 所提方法在具有高尺度多样性及挑战性小人脸的数据集中是否具备泛化能力？
• RQ5 在尺度感知的人脸检测中，检测速度、准确率与模型复杂度之间的权衡如何？

主要发现

• SPN实现了高召回率（在AFW数据集中，99%以上的人脸在每张图像中少于两次缩放内被覆盖），主要失败案例出现在小人脸。
• 在FDDB上，SAFD实现了最先进性能，相比多尺度测试基线，在准确率和速度上均表现更优。
• 在MALF上，尽管面临小而多样的人脸挑战，SAFD在高置信度区域仍保持高准确率，并且相比多尺度RPN显著减少了误报。
• SAFD每张图像的平均FLOPs因数据集内容而异，但在最复杂的MALF数据集上，其速度仍显著快于多尺度测试RPN。
• SA-RPN方法比多尺度测试RPN快数倍，同时保持或提升召回率并减少误报。
• SPN可使用图像级监督进行训练，并与RPN共享特征，从而实现模型压缩和更快推理。