[论文解读] On 3D Face Reconstruction via Cascaded Regression in Shape Space

Feng Liu, Dan Zeng+2 more|arXiv (Cornell University)|Sep 21, 2015

Face recognition and analysis参考文献 34被引用 8

一句话总结

该论文提出一种级联回归方法，通过使用外部关键点检测器从单张2D图像进行3D人脸重建，实现与输入图像相同姿态和表情的重建。通过在扰动的自动检测关键点上进行训练，该方法在BU3DFE数据集上实现了最先进精度（NPDE为2.03%），并展现出在不同关键点数量和3D顶点密度下均具备鲁棒的收敛性与泛化能力。

ABSTRACT

Cascaded regression has been recently applied to reconstructing 3D faces from single 2D images directly in shape space, and achieved state-of-the-art performance. This paper investigates thoroughly such cascaded regression based 3D face reconstruction approaches from four perspectives that are not well studied yet: (i) The impact of the number of 2D landmarks; (ii) the impact of the number of 3D vertices; (iii) the way of using standalone automated landmark detection methods; and (iv) the convergence property. To answer these questions, a simplified cascaded regression based 3D face reconstruction method is devised, which can be integrated with standalone automated landmark detection methods and reconstruct 3D face shapes that have the same pose and expression as the input face images, rather than normalized pose and expression. Moreover, an effective training method is proposed by disturbing the automatically detected landmarks. Comprehensive evaluation experiments have been done with comparison to other 3D face reconstruction methods. The results not only deepen the understanding of cascaded regression based 3D face reconstruction approaches, but also prove the effectiveness of proposed method.

研究动机与目标

• 研究2D关键点数量对3D人脸重建精度的影响。
• 分析3D顶点数量和形状覆盖范围对重建性能的影响。
• 实现独立自动关键点检测与级联回归结合用于3D重建。
• 评估级联回归在形状空间中的收敛行为及计算效率。
• 开发一种训练策略，提升在使用不完美关键点检测结果时的鲁棒性。

提出的方法

• 修改[22]中的级联回归框架，使其接受来自外部检测器的2D关键点作为输入，同时保留输入图像的姿态和表情。
• 采用两阶段级联回归：一个回归器用于更新2D关键点位置，另一个回归器在形状空间中回归3D形状参数。
• 通过在训练过程中向自动检测的关键点添加均值为零、标准差σ=25的高斯噪声，引入数据增强策略，以提升鲁棒性。
• 使用真实标注关键点（所提方法I）和扰动检测关键点（所提方法II）进行模型训练，后者展现出更优的泛化能力。
• 使用统计形状模型（如Basel Face Model）表示3D人脸，并通过回归形状参数以重建密集3D人脸几何结构。
• 采用归一化每顶点深度误差（NPDE）衡量重建误差，其定义为|z*ₙ - ẑₙ| / (z*ₘₐₓ - z*ₘᵢₙ)，以实现跨样本比较。

实验结果

研究问题

• RQ1 2D关键点数量如何影响3D人脸重建的精度？
• RQ2 3D顶点数量和重建3D人脸的空间覆盖范围如何影响重建质量？
• RQ3 能否有效集成独立的自动2D关键点检测方法到基于级联回归的3D人脸重建中？
• RQ4 级联回归在形状空间中的收敛行为如何？需要多少次迭代才能达到最优性能？
• RQ5 在训练过程中对自动检测的关键点进行扰动，是否能提升鲁棒性和重建精度？

主要发现

• 增加2D关键点数量通常能提升重建精度，但增益因面部区域而异，其中鼻部和眼部区域获益最大。
• 当3D人脸模型覆盖更多面部区域但未增加额外关键点时，重建精度会下降，表明关键点与几何结构之间的对应关系至关重要。
• 只要输入关键点保持不变，特定面部区域的重建精度不受该区域顶点密度或区域外顶点数量的影响。
• 将独立的关键点检测器与级联回归结合是可行且有效的，尤其当训练数据包含扰动的关键点标注时效果更佳。
• 所提方法在BU3DFE数据集上实现了2.03%的平均NPDE，优于SFS（4.89%）和E-3DMM（3.10%），展现出最先进性能。
• 使用扰动关键点进行训练可将平均绝对误差（MAE）从3.34 mm（使用原始检测结果）降低至3.05 mm，证明数据增强能有效提升对检测误差的鲁棒性。