[论文解读] Simultaneous Facial Landmark Detection, Pose and Deformation Estimation under Facial Occlusion

Yue Wu, Chao Gou+1 more|arXiv (Cornell University)|Sep 23, 2017

Face recognition and analysis参考文献 23被引用 19

一句话总结

本文提出了一种统一的、迭代级联框架，通过利用面部关键点、头部姿态和面部形变之间的相互依赖关系，在遮挡条件下联合估计这些属性。通过显式建模遮挡并整合基于模型的姿态估计方法，该方法在基准数据集上实现了最先进性能，即使在部分面部被遮挡的情况下，也显著提升了关键点检测的准确性。

ABSTRACT

Facial landmark detection, head pose estimation, and facial deformation analysis are typical facial behavior analysis tasks in computer vision. The existing methods usually perform each task independently and sequentially, ignoring their interactions. To tackle this problem, we propose a unified framework for simultaneous facial landmark detection, head pose estimation, and facial deformation analysis, and the proposed model is robust to facial occlusion. Following a cascade procedure augmented with model-based head pose estimation, we iteratively update the facial landmark locations, facial occlusion, head pose and facial de- formation until convergence. The experimental results on benchmark databases demonstrate the effectiveness of the proposed method for simultaneous facial landmark detection, head pose and facial deformation estimation, even if the images are under facial occlusion.

研究动机与目标

• 解决在遮挡存在下，顺序或独立估计面部关键点、头部姿态和面部形变的局限性。
• 开发一种统一框架，利用关键点、姿态和形变之间的耦合关系，以提高估计准确性。
• 显式建模并预测面部遮挡，以增强在部分面部遮挡情况下的关键点检测和姿态估计的鲁棒性。
• 通过结合基于学习的关键点检测与基于模型的姿态和形变估计，消除对3D标注的依赖。

提出的方法

• 采用迭代级联过程，交替优化面部关键点位置、头部姿态、面部形变和遮挡掩码。
• 集成基于模型的头部姿态估计组件，利用2D关键点和3D人脸模型以提高姿态估计的准确性。
• 显式估计每个关键点的遮挡状态，区分可见点与被遮挡点，以指导估计过程。
• 通过统一的优化框架利用联合关系，使每次迭代中所有变量同时更新。
• 采用基于回归的关键点检测模型，通过引入遮挡感知特征和姿态/形变先验进行增强。
• 应用级联回归策略，通过迭代优化，其中每一阶段使用前一阶段的预测结果作为先验。

实验结果

研究问题

• RQ1 与顺序或独立方法相比，联合估计面部关键点、头部姿态和形变是否能提升性能？
• RQ2 显式遮挡建模在面部遮挡条件下如何增强关键点检测和姿态估计的鲁棒性？
• RQ3 引入姿态和形变先验在多大程度上能提升关键点检测的准确性？
• RQ4 基于模型的姿态估计方法能否在无需3D标注的情况下，有效集成到基于学习的关键点检测中？

主要发现

• 在COFW数据集上，所提方法的关键点检测误差为6.40（以两眼间距为归一化基准），优于基线级联回归方法（7.70）。
• 仅添加遮挡预测即可将关键点检测误差从7.70降低至6.61，证明了遮挡建模的价值。
• 完整模型（包含遮挡、姿态和形变估计）收敛迅速，在COFW和MultiPIE数据集上各次迭代中均取得最佳性能。
• 在MultiPIE数据集上，该方法仅利用可见关键点即可准确估计偏航角（平均绝对误差约1.5°），避免了自遮挡点带来的误差。
• 通过在姿态拟合过程中排除被遮挡的关键点，该方法显著降低了偏航角误差——当考虑遮挡时，误差从26°降至90°（真实值）。
• 迭代级联框架收敛迅速，关键点检测和姿态估计性能在5–6次迭代内即趋于稳定。