[论文解读] Towards Fast, Accurate and Stable 3D Dense Face Alignment

Jianzhu Guo, Xiangyu Zhu+4 more|arXiv (Cornell University)|Sep 21, 2020

Face recognition and analysis参考文献 59被引用 31

一句话总结

3DDFA-V2 在速度、精度和稳定性之间实现平衡，用于 3D 密集人脸对齐的快速 3DMM 参数回归，结合 meta-joint 优化、landmark-regression 正则化，以及 3D 辅助短视频合成，在 CPU 上达到超过 50fps，并且优于重量级模型。

ABSTRACT

Existing methods of 3D dense face alignment mainly concentrate on accuracy, thus limiting the scope of their practical applications. In this paper, we propose a novel regression framework named 3DDFA-V2 which makes a balance among speed, accuracy and stability. Firstly, on the basis of a lightweight backbone, we propose a meta-joint optimization strategy to dynamically regress a small set of 3DMM parameters, which greatly enhances speed and accuracy simultaneously. To further improve the stability on videos, we present a virtual synthesis method to transform one still image to a short-video which incorporates in-plane and out-of-plane face moving. On the premise of high accuracy and stability, 3DDFA-V2 runs at over 50fps on a single CPU core and outperforms other state-of-the-art heavy models simultaneously. Experiments on several challenging datasets validate the efficiency of our method. Pre-trained models and code are available at https://github.com/cleardusk/3DDFA_V2.

研究动机与目标

• 在不牺牲精度的前提下，缩短 3D 密集人脸对齐的推理时间。
• 在 3D 面部重建过程中提高跨视频帧的稳定性。
• 开发利用快速参数回归与 3D 感知增强的训练策略。
• 引入正则化以引导回归朝向准确的 3DMM 参数。

提出的方法

• 使用像 MobileNet 这样的轻量骨干网络回归一组紧凑的 3DMM 参数。
• 引入 meta-joint 优化，通过一个前向 k 步的元训练循环将快速 WPDC 与 VDC 结合并选择成本更优者。
• 提出 fWPDC，一种 WPDC 的快速实现，首次重建顶点以计算 62 个参数的权重。
• 添加 landmark-regression 正则化，通过辅助的 2D 关键点回归任务引导参数学习。
• 开发 3D 辅助的短视频合成，将静态图像转换为短小的合成视频，以提升训练稳定性。

实验结果

研究问题

• RQ1 一个轻量级网络回归一小组 3DMM 参数就能在 CPU 上实现实时的 3D 密集人脸对齐且不牺牲精度吗？
• RQ2 与标准联合优化相比，meta-joint 优化是否能可靠地改善收敛性与最终精度？
• RQ3 landmark-regression 正则化是否能提升 3DMM 参数回归的准确性？
• RQ4 在训练期间使用 3D 辅助的短视频合成是否能提升对视频序列的时序稳定性？

主要发现

• 3DDFA-V2 在单颗 CPU 核心上运行超过 50fps，在多核 CPU 上超过 130fps。
• 在严格的计算约束下实现了最先进的精度，在关键基准测试中超过像 PRNet 和 3DDFA 变体等重量级模型。
• 带有 meta-joint 优化的快速 WPDC（fWPDC）加速了收敛并提升了 NME 分数，相较于 VDC 或普通联合优化。
• landmark-regression 正则化在精度上相较于 landmark-regularization 方法有可观提升，并提高鲁棒性。
• 3D 辅助的短视频合成在视频基准测试中显著提升时序稳定性，优于随机批内旋转。