[论文解读] Multiface: A Dataset for Neural Face Rendering

Cheng-hsin Wuu, Ningyuan Zheng+29 more|arXiv (Cornell University)|Jul 22, 2022

Face recognition and analysis被引用 49

一句话总结

Multiface 发布一个高分辨率、多视角的人脸视频数据集（Mugsy），涵盖13个身份，并分析结构改动（空间偏置、 warp field、残差）如何影响神经人脸渲染及新视角/表情插值。

ABSTRACT

Photorealistic avatars of human faces have come a long way in recent years, yet research along this area is limited by a lack of publicly available, high-quality datasets covering both, dense multi-view camera captures, and rich facial expressions of the captured subjects. In this work, we present Multiface, a new multi-view, high-resolution human face dataset collected from 13 identities at Reality Labs Research for neural face rendering. We introduce Mugsy, a large scale multi-camera apparatus to capture high-resolution synchronized videos of a facial performance. The goal of Multiface is to close the gap in accessibility to high quality data in the academic community and to enable research in VR telepresence. Along with the release of the dataset, we conduct ablation studies on the influence of different model architectures toward the model's interpolation capacity of novel viewpoint and expressions. With a conditional VAE model serving as our baseline, we found that adding spatial bias, texture warp field, and residual connections improves performance on novel view synthesis. Our code and data is available at: https://github.com/facebookresearch/multiface

研究动机与目标

• 提供一个大规模、高质量的多视角人脸数据集，跨13个身份实现同步捕获与带纹理网格的对齐。
• 使 Codec Avatars 的神经人脸渲染与新视角/表情插值研究成为可能。
• 评估模型架构变更如何影响对新视角与新表情的插值能力。

提出的方法

• 使用 Mugsy 捕捉人脸表演，该多摄像机设备提供多达160个彩色摄像机同步的4096x2668视频。
• 为所有受试者提供原始图像、未展开纹理、跟踪网格、头部姿态、音频和标定元数据。
• 使用条件变分自编码器基线模型，从一个以视角无关潜在编码为条件的视图条件化的方式来建模头像渲染，配合纹理编码器和网格编码器。
• 对结构变体进行实验，包括空间偏置、纹理扭曲场和残差连接，以研究它们对新视角/表情插值的影响。
• 在可微渲染管线和一个前景掩模加权损失的训练下进行训练，强调眼部/口部并考虑背景。

实验结果

研究问题

• RQ1 Multiface 如何在高保真神经人脸渲染中实现鲁棒的新视角合成？
• RQ2 结构修改（空间偏置、扭曲场、残差连接）如何影响对未见视角和表情的插值？
• RQ3 训练时相机覆盖范围对新视角和新表情的重建质量有何影响？

主要发现

• 空间偏置对于通过编码与视角无关的纹理信息实现准确的新视角合成至关重要。
• 当训练数据有限（摄像头较少）时，具有残差连接的更深模型有帮助。
• 纹理扭曲场和空间偏置提升了插值性能，尤其是在联合新视角和新表情任务中。
• 联合任务（新视角+新表情）比单任务更困难，需要更多的训练视图以达到最佳表现。
• 研究表明，在训练中增加摄像头覆盖范围可以降低各架构的重建误差。