[论文解读] Neural Generative Models for 3D Faces with Application in 3D Texture Free Face Recognition

Ahmed El-Sayed, Elif Kongar+3 more|arXiv (Cornell University)|Nov 11, 2018

Face recognition and analysis参考文献 13被引用 4

一句话总结

本文提出一种神经生成建模方法，用于生成3D人脸点云的紧凑、规范表示，减少存储大小并实现精确重建。通过在3D扫描数据上训练神经模型，并将模型权重作为输入输入到孪生卷积神经网络（Siamese CNN）中，该方法在Bosphorus数据集上实现了100%的验证准确率，超越了当前最先进水平，同时支持数据增强，并与异构深度传感器兼容。

ABSTRACT

Using heterogeneous depth cameras and 3D scanners in 3D face verification causes variations in the resolution of the 3D point clouds. To solve this issue, previous studies use 3D registration techniques. Out of these proposed techniques, detecting points of correspondence is proven to be an efficient method given that the data belongs to the same individual. However, if the data belongs to different persons, the registration algorithms can convert the 3D point cloud of one person to another, destroying the distinguishing features between the two point clouds. Another issue regarding the storage size of the point clouds. That is, if the captured depth image contains around 50 thousand points in the cloud for a single pose for one individual, then the storage size of the entire dataset will be in order of giga if not tera bytes. With these motivations, this work introduces a new technique for 3D point clouds generation using a neural modeling system to handle the differences caused by heterogeneous depth cameras, and to generate a new face canonical compact representation. The proposed system reduces the stored 3D dataset size, and if required, provides an accurate dataset regeneration. Furthermore, the system generates neural models for all gallery point clouds and stores these models to represent the faces in the recognition or verification processes. For the probe cloud to be verified, a new model is generated specifically for that particular cloud and is matched against pre-stored gallery model presentations to identify the query cloud. This work also introduces the utilization of Siamese deep neural network in 3D face verification using generated model representations as raw data for the deep network, and shows that the accuracy of the trained network is comparable all published results on Bosphorus dataset.

研究动机与目标

• 解决来自不同深度相机的3D人脸点云在存储膨胀和异构性方面的问题。
• 利用神经生成建模方法，开发3D人脸的紧凑、规范表示。
• 通过将学习到的模型权重作为输入输入到孪生深度神经网络，实现精确的3D人脸验证。
• 支持小样本或噪声较大的数据集的数据增强和超分辨率重建。
• 在无需纹理的中性表情扫描下，于Bosphorus 3D人脸识别数据集上实现最先进性能。

提出的方法

• 训练神经生成模型，以从原始深度扫描中学习3D人脸点云的紧凑、规范表示。
• 通过回归方法生成平滑、降噪的3D点云，同时保留面部几何结构。
• 将训练好的模型权重用作孪生卷积神经网络（Siamese CNN）的原始输入数据。
• 通过数据增强生成正样本对和负样本对，用于训练孪生网络以实现验证。
• 使用50,000对正样本和70,000对负样本对孪生网络进行训练和测试，其中50%的数据用于训练，50%用于测试。
• 系统支持从模型权重重建3D点云，从而实现与现有3D人脸识别技术的兼容性。

实验结果

研究问题

• RQ1 神经生成模型能否从异构深度传感器获取的3D人脸点云中，生成准确、紧凑且降噪的表示？
• RQ2 训练好的生成模型的权重能否作为3D人脸验证中孪生CNN的有效输入？
• RQ3 所提出的方法在Bosphorus数据集上是否实现了优于当前最先进技术的验证准确率？
• RQ4 生成模型在支持小样本或噪声较大的数据集的数据增强和超分辨率重建方面，其能力达到何种程度？
• RQ5 该模型表示能否在减少存储大小的同时保留具有区分度的面部特征，并支持原始几何结构的完整重建？

主要发现

• 所提出的神经生成模型能够生成高质量、平滑的3D人脸点云，即使在输入数据存在显著噪声的情况下，其生成结果仍与原始数据高度一致。
• 在生成模型权重上训练的孪生CNN在Bosphorus数据集上实现了100%的验证准确率，优于所有已发表的先前结果。
• 训练和测试损失曲线显示无过拟合现象，表明在50,000次迭代中学习过程稳定且高效。
• ROC曲线和精确率-召回率曲线表现出强大的判别性能，证实了所学习表示的鲁棒性。
• 该方法通过从单个模型生成额外的正样本对和负样本对，实现了数据增强，有效缓解了小样本数据集的局限性。
• 模型权重作为紧凑的、有损的表示形式，显著减少了3D点云的存储大小，同时支持原始几何结构的完整重建。