[论文解读] PVA: Pixel-aligned Volumetric Avatars

Amit Raj, Michael Zollhoefer+5 more|arXiv (Cornell University)|Jan 7, 2021

3D Shape Modeling and Analysis参考文献 35被引用 22

一句话总结

本文提出像素对齐体素化身（PVA），一种新颖的神经辐射场方法，利用少量输入图像中的局部像素对齐特征，预测具有高保真面部表情和身份泛化能力的详细3D人像。PVA通过仅使用光度重投影损失进行端到端训练，无需3D监督，实现了在未见身份和表情下的最先进新视角合成质量。

ABSTRACT

Acquisition and rendering of photo-realistic human heads is a highly challenging research problem of particular importance for virtual telepresence. Currently, the highest quality is achieved by volumetric approaches trained in a person specific manner on multi-view data. These models better represent fine structure, such as hair, compared to simpler mesh-based models. Volumetric models typically employ a global code to represent facial expressions, such that they can be driven by a small set of animation parameters. While such architectures achieve impressive rendering quality, they can not easily be extended to the multi-identity setting. In this paper, we devise a novel approach for predicting volumetric avatars of the human head given just a small number of inputs. We enable generalization across identities by a novel parameterization that combines neural radiance fields with local, pixel-aligned features extracted directly from the inputs, thus sidestepping the need for very deep or complex networks. Our approach is trained in an end-to-end manner solely based on a photometric re-rendering loss without requiring explicit 3D supervision.We demonstrate that our approach outperforms the existing state of the art in terms of quality and is able to generate faithful facial expressions in a multi-identity setting.

研究动机与目标

• 为解决仅从少量输入图像生成逼真、身份泛化的3D人像的问题。
• 克服体素模型中全局潜在码的局限性，这些局限性阻碍了在不同身份和表情间的泛化能力。
• 在实现未见身份和视角的新视角合成的同时，保留头发和面部纹理等高频细节。
• 通过仅依赖光度重投影损失进行训练，消除对显式3D监督的需求。
• 实现基于局部图像特征而非全局编码的神经辐射场端到端训练。

提出的方法

• 提出一种像素对齐的辐射场，将隐式3D表示条件化于直接从输入图像中提取的局部特征。
• 使用浅层编码器-解码器网络从每张输入图像中提取像素对齐特征，以保留细粒度的局部细节。
• 将相机位姿信息融入特征表示，以确保多视角特征聚合的一致性。
• 通过可学习的池化机制实现相机感知的特征汇总，以在保留空间对齐的同时跨视角聚合特征。
• 应用体素渲染，利用条件化特征从预测的辐射场中合成新视角。
• 通过仅使用光度重投影损失进行端到端训练，无需3D监督或显式几何标注。

实验结果

研究问题

• RQ1 神经辐射场能否有效基于局部像素对齐特征进行条件化，以实现身份泛化的3D化身生成？
• RQ2 与全局潜在码相比，使用局部特征是否能更好地建模如头发和面部表情等精细细节？
• RQ3 即使仅基于少量输入图像进行条件化，该模型是否能在不重新训练的情况下泛化到未见的身份和表情？
• RQ4 引入相机位姿信息如何影响合成视角的质量和一致性？
• RQ5 特征提取器和特征汇总策略的选择在多大程度上影响重建保真度？

主要发现

• 与cNeRF和eNeRF等近期方法相比，PVA在新视角合成质量方面达到了最先进性能。
• 该模型在未见身份和表情上表现出有效的泛化能力，优于依赖全局潜在码的模型。
• 仅增加两张输入视图即可显著减少视图外推中的伪影，证明了从极少量输入中实现强大泛化的能力。
• 相机感知的特征汇总相比简单平均池化能产生更高质量的结果，减少了条纹状伪影和不一致性。
• 浅层编码器-解码器特征提取器在保留局部细节方面优于U-Net和沙漏网络等更深架构。
• 训练期间学习到的背景建模提升了重建质量，尤其在复杂光照和遮挡区域表现更优。