[论文解读] Multilinear Wavelets: A Statistical Shape Space for Human Faces

Alan Brunton, Timo Bolkart+1 more|arXiv (Cornell University)|Jan 13, 2014

Face recognition and analysis参考文献 13被引用 7

一句话总结

本文提出了一种基于多线性小波的3D人像形状统计模型，通过小波变换分解面部几何结构，实现系数的局部化、去相关化多线性分析。该方法能够从噪声大、遮挡或不完整扫描中实现鲁棒、高保真的面部细节重建，在细节保留、速度和对数据污染的鲁棒性方面优于全局和局部PCA模型，同时保持计算效率。

ABSTRACT

We present a statistical model for $3$D human faces in varying expression, which decomposes the surface of the face using a wavelet transform, and learns many localized, decorrelated multilinear models on the resulting coefficients. Using this model we are able to reconstruct faces from noisy and occluded $3$D face scans, and facial motion sequences. Accurate reconstruction of face shape is important for applications such as tele-presence and gaming. The localized and multi-scale nature of our model allows for recovery of fine-scale detail while retaining robustness to severe noise and occlusion, and is computationally efficient and scalable. We validate these properties experimentally on challenging data in the form of static scans and motion sequences. We show that in comparison to a global multilinear model, our model better preserves fine detail and is computationally faster, while in comparison to a localized PCA model, our model better handles variation in expression, is faster, and allows us to fix identity parameters for a given subject.

研究动机与目标

• 开发一种用于3D人像形状的统计形状模型，能够在保持对噪声和遮挡鲁棒性的同时捕捉细微的几何细节。
• 解决全局多线性模型和局部PCA模型在处理表情变化和数据污染方面的局限性。
• 实现对来自不同来源的不完整或受损扫描的3D人脸形状的高效、可扩展且鲁棒的拟合。
• 创建一种无需手动分割或基于部件标注即可良好泛化的模型。
• 通过高效计算支持实时应用，如面部动作捕捉和远程呈现。

提出的方法

• 该方法应用小波变换，将3D面部表面几何结构分解为多尺度下的局部化、去相关化系数。
• 在每个小波系数子带独立学习多线性模型，实现形状变化的低维、去相关化建模。
• 通过多线性分析分离身份与表情成分，实现每个受试者固定的身份参数。
• 通过在参数上施加紧密的统计边界进行优化，实现拟合，从而增强对受损输入数据的鲁棒性。
• 通过逐帧优化表情权重，将该方法扩展至3D运动序列，实现自动跟踪。
• 该方法避免了显式分割，并支持向纹理及其他模态的扩展。

实验结果

研究问题

• RQ1 基于小波的分解是否能在严重数据污染条件下提升3D人脸形状模型的鲁棒性和细节保留能力？
• RQ2 在拟合精度和计算效率方面，基于小波系数的局部化多线性建模与全局多线性或局部PCA模型相比表现如何？
• RQ3 在存在噪声和遮挡的情况下，该模型在多大程度上能保留鼻部和口部等细微面部特征？
• RQ4 该模型能否高效扩展以实现高保真度的动态面部运动序列跟踪？
• RQ5 与高维全局模型相比，使用去相关化、低维子模型是否能减少过拟合并改善泛化能力？

主要发现

• 与全局多线性或局部PCA模型相比，该模型在表达变化情况下能更准确地重建细微面部特征（如鼻部和口部形状）。
• 在存在遮挡的Bosphorus数据集上，该模型在未遮挡区域的累积误差低于全局多线性模型和局部PCA模型。
• 使用单线程CPU进行单个3D扫描的拟合仅需几秒钟，对数以千计的人脸进行训练也仅需几分钟。
• 通过在低维小波系数模型上使用统计边界，该模型在噪声和遮挡下保持鲁棒性，降低过拟合风险。
• 将拟合算法简单扩展至运动序列，即可实现稳定、自动的3D面部跟踪，且细节表现优异，已在BU4DFE序列上得到验证。
• 该方法在保留不对称性（如恐惧表情下眉毛区域的不对称）方面优于先前模型，并通过平滑能量正则化避免了网格伪影。