[论文解读] Real-time Memory Efficient Large-pose Face Alignment via Deep Evolutionary Network

Bin Sun, Ming Shao+2 more|arXiv (Cornell University)|Oct 25, 2019

Face recognition and analysis参考文献 50被引用 6

一句话总结

本文提出了一种实时、内存高效的深度进化网络，用于使用稀疏3D扩散堆叠图（DHM）和轻量级CNN-RNN架构进行大姿态人脸对齐。通过用迭代关键点坐标预测替代传统回归，并采用分解卷积和快速循环模块，该方法在CPU上实现6倍于最先进模型的推理速度，在GPU上实现14倍，同时在极端姿态下保持高精度。

ABSTRACT

There is an urgent need to apply face alignment in a memory-efficient and real-time manner due to the recent explosion of face recognition applications. However, impact factors such as large pose variation and computational inefficiency, still hinder its broad implementation. To this end, we propose a computationally efficient deep evolutionary model integrated with 3D Diffusion Heap Maps (DHM). First, we introduce a sparse 3D DHM to assist the initial modeling process under extreme pose conditions. Afterward, a simple and effective CNN feature is extracted and fed to Recurrent Neural Network (RNN) for evolutionary learning. To accelerate the model, we propose an efficient network structure to accelerate the evolutionary learning process through a factorization strategy. Extensive experiments on three popular alignment databases demonstrate the advantage of the proposed models over the state-of-the-art, especially under large-pose conditions. Notably, the computational speed of our model is 6 times faster than the state-of-the-art on CPU and 14 times on GPU. We also discuss and analyze the limitations of our models and future research work.

研究动机与目标

• 解决在大姿态变化下实现实时、内存高效的人脸对齐的挑战。
• 克服2D模型在处理不可见关键点和姿态不变特征表示方面的局限性。
• 降低计算和存储成本，以实现移动设备和嵌入式设备的部署。
• 相比现有深度学习方法，在极端姿态条件下提升鲁棒性和准确性。

提出的方法

• 引入稀疏3D扩散堆叠图（DHM）作为3D感知、低通道（3通道）表示，以建模面部几何结构，并在大姿态下提升特征可靠性。
• 使用轻量级深度可分离卷积神经网络（CNN）进行高效特征提取，降低FLOPs和模型大小。
• 用由逐点卷积和深度可分离卷积组成的快速循环模块替代传统RNN，以减少时间和空间复杂度。
• 将人脸对齐建模为使用RNN的迭代关键点坐标回归，其中每一步都对预测的2D归一化关键点坐标进行优化。
• 对CNN和RNN组件应用分解技术，以在不显著损失精度的情况下加速推理。
• 通过最小化参数数量和FLOPs，同时保持高精度，对模型进行优化，实现在CPU和GPU上的实时性能。

实验结果

研究问题

• RQ1 一个内存高效的深度学习框架是否能在CPU和GPU上实现大姿态人脸对齐的实时性能？
• RQ2 与仅2D或高通道3D表示相比，3D扩散堆叠图（DHM）的集成在多大程度上提升了对大姿态变化的鲁棒性？
• RQ3 分解卷积和快速循环模块在多大程度上能降低计算成本，同时保持对齐精度？
• RQ4 在所提出的进化人脸对齐框架中，模型大小、推理速度和精度之间的权衡如何？
• RQ5 在极端姿态条件下，与最先进模型相比，该方法在基准数据集上的速度、内存使用和性能表现如何？

主要发现

• 所提模型在CPU上的推理速度比最先进模型快6倍，在GPU上快14倍，显著提升了实时性能。
• 该模型的参数量比最小的基线模型小12.5倍，展现出卓越的内存效率。
• 在AFLW2000-3D和LS3D-W数据集上，该方法在平均NME指标上位列前三，并在[0°–30°]、[30°–60°]和[60°–90°]姿态范围内表现优异。
• Fast DHM ×2配置在精度（平均NME ≈ 3.8）和模型效率之间实现了最佳权衡，超过此点无进一步增益。
• 该模型对大姿态具有鲁棒性，但因此类情况的训练数据有限，对严重遮挡或极端滚动姿态的人脸性能有所下降。
• 快速循环模块相比标准RNN显著降低了时间和空间复杂度，使边缘设备上的实时部署成为可能。