[论文解读] Supervised Transformer Network for Efficient Face Detection

Dong Chen, Gang Hua+2 more|arXiv (Cornell University)|Jul 19, 2016

Face recognition and analysis参考文献 10被引用 18

一句话总结

本文提出了一种监督Transformer网络（STN），用于高效的人脸检测，该网络采用级联的端到端可训练架构，将多任务区域建议网络（RPN）与RCNN结合。RPN检测人脸候选区域并预测面部关键点，随后通过监督变换层将区域映射到规范姿态；两个阶段的特征图被拼接用于最终分类。该方法在单个CPU核心上对VGA图像实现30 FPS的推理速度，同时通过ROI卷积方案实现高效计算，达到最先进精度。

ABSTRACT

Large pose variations remain to be a challenge that confronts real-word face detection. We propose a new cascaded Convolutional Neural Network, dubbed the name Supervised Transformer Network, to address this challenge. The first stage is a multi-task Region Proposal Network (RPN), which simultaneously predicts candidate face regions along with associated facial landmarks. The candidate regions are then warped by mapping the detected facial landmarks to their canonical positions to better normalize the face patterns. The second stage, which is a RCNN, then verifies if the warped candidate regions are valid faces or not. We conduct end-to-end learning of the cascaded network, including optimizing the canonical positions of the facial landmarks. This supervised learning of the transformations automatically selects the best scale to differentiate face/non-face patterns. By combining feature maps from both stages of the network, we achieve state-of-the-art detection accuracies on several public benchmarks. For real-time performance, we run the cascaded network only on regions of interests produced from a boosting cascade face detector. Our detector runs at 30 FPS on a single CPU core for a VGA-resolution image.

研究动机与目标

• 解决真实世界人脸检测中大姿态变化的挑战。
• 提升非正面及复杂姿态人脸的检测精度。
• 通过降低计算成本，实现在CPU上的实时推理。
• 引入一种新型的监督变换层，端到端学习最优规范关键点位置。
• 通过基于ROI的计算实现最先进性能，且精度损失最小。

提出的方法

• 级联的两阶段网络：第一阶段为多任务RPN，用于预测人脸候选区域和面部关键点。
• 通过监督变换层将候选区域映射到学习得到的规范位置，实现关键点到规范姿态的对齐。
• 将对齐后的区域输入第二阶段RCNN进行最终的人脸/非人脸分类验证。
• 将两阶段的特征图拼接，形成联合表征，提升判别能力。
• 规范关键点位置作为训练过程的一部分进行端到端优化。
• 采用ROI卷积方案，将深度神经网络运算限制在检测到的感兴趣区域，显著降低CPU上的计算量。

实验结果

研究问题

• RQ1 能否通过联合检测与对齐的级联CNN端到端训练，提升对大姿态变化的鲁棒性？
• RQ2 能否通过学习规范人脸姿态的监督变换层，优于无监督或回归式归一化方法？
• RQ3 两阶段网络中多尺度特征的结合，能否在保持实时性能的同时实现最先进精度？
• RQ4 基于ROI的卷积在CPU上能将推理时间减少多少，同时保持最小的召回率损失？
• RQ5 在保持检测召回率的同时，非Top-K抑制是否优于NMS以减少误报？

主要发现

• 所提出的监督Transformer网络在FDDB、AFW和PASCAL Faces基准上达到最先进检测精度。
• 通过ROI卷积，该方法在单个CPU核心上对VGA分辨率图像实现30 FPS推理速度。
• ROI卷积将计算量减少最多3倍，且与全图推理相比召回率仅下降0.6%。
• 非Top-K抑制（K=5）在相同候选数下实现89.4%的召回率，优于NMS的88.7%。
• 规范关键点位置的端到端学习提升了特征判别能力，从而实现更好的人脸/非人脸分离。
• 由于姿态归一化变换层的存在，该模型在极端姿态变化下仍能保持高精度。