[论文解读] Pose-Invariant 3D Face Alignment

Amin Jourabloo, Xiaoming Liu|arXiv (Cornell University)|Jun 11, 2015

Face recognition and analysis参考文献 38被引用 27

一句话总结

该论文提出了一种与3D可变形模型相结合的级联耦合回归器框架，用于估计任意姿态（最大±90°偏航角）下人脸图像的2D/3D面部关键点及其2D可见性状态。通过利用3D表面法线实现自动可见性预测，并联合回归相机投影矩阵与3D形状参数，该方法在2D对齐精度方面达到当前最先进水平，并在大规模全姿态数据集上首次建立了3D关键点估计的定量基准，证明了其在先前方法上的优越性能。

ABSTRACT

Face alignment aims to estimate the locations of a set of landmarks for a given image. This problem has received much attention as evidenced by the recent advancement in both the methodology and performance. However, most of the existing works neither explicitly handle face images with arbitrary poses, nor perform large-scale experiments on non-frontal and profile face images. In order to address these limitations, this paper proposes a novel face alignment algorithm that estimates both 2D and 3D landmarks and their 2D visibilities for a face image with an arbitrary pose. By integrating a 3D deformable model, a cascaded coupled-regressor approach is designed to estimate both the camera projection matrix and the 3D landmarks. Furthermore, the 3D model also allows us to automatically estimate the 2D landmark visibilities via surface normals. We gather a substantially larger collection of all-pose face images to evaluate our algorithm and demonstrate superior performances than the state-of-the-art methods.

研究动机与目标

• 解决缺乏能够处理任意姿态（尤其是非正面和侧脸视图）的鲁棒人脸对齐方法的问题。
• 开发一种统一框架，同时估计2D和3D面部关键点及其2D可见性状态。
• 通过使用3D表面法线实现自动可见性估计，提升姿态不变对齐的鲁棒性。
• 在比以往文献中使用的更大规模的全姿态人脸图像数据集上评估性能。
• 通过在BP4D-S数据集上报告MAPE，为3D人脸对齐提供定量基准。

提出的方法

• 设计了一种级联耦合回归器架构，其中在每个级联中交替训练两个回归器：一个用于更新相机投影矩阵，另一个用于更新3D形状参数。
• 3D可变形模型（3DMM）提供几何约束，并通过检查变换后的表面法线是否具有正的z分量，实现自动可见性估计。
• 可见性预测在回归器训练过程中动态集成，确保仅可见关键点参与基于外观的更新。
• 该方法以平均3D形状作为初始化，并通过迭代回归进行优化，更新由真实值差异引导。
• 该框架在AFLW数据集的一个大规模子集和AFW数据集上进行训练和评估，覆盖广泛的偏航角范围。
• 使用平均绝对关键点误差（MAPE）对3D关键点估计进行定量评估，以3D均值形状作为基线。

实验结果

研究问题

• RQ1 基于回归的方法是否能在任意姿态下联合估计2D和3D面部关键点及其2D可见性状态？
• RQ2 使用3D表面法线自动估计2D投影中关键点可见性的有效性如何？
• RQ3 与仅基于2D的方法相比，集成3D可变形模型是否能提升在多样化姿态下的对齐精度？
• RQ4 在真实世界全姿态数据集上，3D关键点估计的性能如何？与3D均值形状基线相比表现如何？
• RQ5 所提出的方法是否能在具有极端姿态变化的大规模数据集上实现高精度与高效率？

主要发现

• 所提方法在AFLW数据集上实现了6.5的2D归一化均误差（NME），优于RCPR（8.5）及其他最先进方法。
• 在AFW数据集上，该方法实现了8.6的NME，表明在具有挑战性的侧脸和非正面视图中也表现出一致的优越性。
• 3D关键点估计的平均绝对关键点误差（MAPE）达到4.75，显著优于3D均值形状基线（5.02）。
• 通过将3D表面法线动态融入学习过程，该方法实现了高精度的可见性估计。
• 算法在未优化实现下运行速度为3.0 FPS，表明计算效率可行，且可通过C语言优化进一步提升。
• 定性结果表明，该方法在包括极端侧脸在内的多样化姿态下均表现出鲁棒的对齐效果，可见性预测准确，关键点定位精确。