[论文解读] Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control

Lingjie Liu, Marc Habermann+4 more|arXiv (Cornell University)|Jun 3, 2021

3D Shape Modeling and Analysis参考文献 65被引用 58

一句话总结

Neural Actor (NA) 通过将一个神经辐射场变形到由 SMPL 引导的规范姿态空间，并使用纹理贴图作为潜在线索来建模与姿态相关的外观，从而实现高质量的自由视图合成的移动人体演员，且可控的新姿态。

ABSTRACT

We propose Neural Actor (NA), a new method for high-quality synthesis of humans from arbitrary viewpoints and under arbitrary controllable poses. Our method is built upon recent neural scene representation and rendering works which learn representations of geometry and appearance from only 2D images. While existing works demonstrated compelling rendering of static scenes and playback of dynamic scenes, photo-realistic reconstruction and rendering of humans with neural implicit methods, in particular under user-controlled novel poses, is still difficult. To address this problem, we utilize a coarse body model as the proxy to unwarp the surrounding 3D space into a canonical pose. A neural radiance field learns pose-dependent geometric deformations and pose- and view-dependent appearance effects in the canonical space from multi-view video input. To synthesize novel views of high fidelity dynamic geometry and appearance, we leverage 2D texture maps defined on the body model as latent variables for predicting residual deformations and the dynamic appearance. Experiments demonstrate that our method achieves better quality than the state-of-the-arts on playback as well as novel pose synthesis, and can even generalize well to new poses that starkly differ from the training poses. Furthermore, our method also supports body shape control of the synthesized results.

研究动机与目标

• 促使在日常穿着下，从任意视角和姿态实现高质量的人体自由视图合成。
• 开发一个几何引导的可变形 NeRF 框架，使用 SMPL 作为规范空间代理以处理大姿态引起的变形。
• 通过在 SMPL 表面引入 2D 纹理贴图作为潜在变量以及对抗纹理先验来解决动态几何和外观的不确定性。
• 实现姿态控制的回放和新姿态合成，以及在不重新扫描的情况下对演员形状进行操控。
• 提供一个新的多视角、密集摄像机的人体表演数据集，并证明渲染质量优于先前方法。

提出的方法

• 使用 SMPL 作为规范空间代理，通过逆蒙皮变形来变形点并学习姿态相关的残差变形。
• 在规范空间中用类 NeRF 的网络表示辐射度场，从变形点预测颜色和密度。
• 在 SMPL UV 地图上预测姿态相关的纹理贴图 Z，以捕捉局部外观和动态效应，并配备辅助的纹理特征提取器 G(Z)。
• 通过图像到图像翻译网络（法线图到纹理贴图）训练纹理先验以产生帧一致纹理，使用对抗损失以避免回归到平均外观。
• 通过几何引导的光线行进进行渲染，沿光线采样并在规范空间查询可变形辐射场，纹理特征作为颜色预测的条件。
• 在纹理贴图上加入对抗损失以减小不确定性并提高姿态相关细节的真实感。

实验结果

研究问题

• RQ1 在 SMPL 模型引导下的几何引导可变形 NeRF 能否在全新姿势下合成自由移动的人体的高保真新视图？
• RQ2 通过逆蒙皮的规范空间变形对 NeRF 进行姿态条件化是否比仅通过姿态增强的 NeRF 更好地处理大幅度身体运动？
• RQ3 在 SMPL 表面定义的二维纹理贴图是否可以作为有效的潜在变量，用于建模姿态相关的几何和外观而不产生模糊？
• RQ4 是否有可能推广到未见姿势并在保持照片级真实感的同时支持身体形状的变化？
• RQ5 该方法是否能在无需额外扫描或绑定的情况下实现实际的形状操控（如调整演员大小）？

主要发现

• NA 在回放和新姿态合成任务中实现了比最先进基线更高的渲染质量。
• SMPL 指导的变形通过将刚性蒙皮与非刚性残余变形解耦，实现对大幅度移动的高效处理。
• SMPL 表面上的纹理贴图作为潜在变量，加上对抗纹理先验，减少模糊并捕捉姿态相关的局部细节。
• 该方法可推广到与训练姿势差异显著的新姿势，并支持对演员身体的自由视图合成的形状重塑。
• 拍摄并用于验证性能的新的多视角密集摄像机数据集，预计将公开数据。