[论文解读] Neural Rendering and Reenactment of Human Actor Videos

Lingjie Liu, Weipeng Xu+6 more|arXiv (Cornell University)|Sep 11, 2018

Advanced Vision and Imaging参考文献 72被引用 10

一句话总结

本文提出一种基于学习的方法，仅使用单目视频和中等质量的3D模板模型，实现对真人演员的视频级逼真重演，无需高保真3D扫描。通过训练条件生成对抗网络（cGAN），将3D模型的合成渲染图像转换为逼真图像，利用动作捕捉的姿态序列实现端到端训练，该方法在保持身份一致性的视频合成任务中达到当前最先进水平，且支持实时推理（每帧68ms）。

ABSTRACT

We propose a method for generating video-realistic animations of real humans under user control. In contrast to conventional human character rendering, we do not require the availability of a production-quality photo-realistic 3D model of the human, but instead rely on a video sequence in conjunction with a (medium-quality) controllable 3D template model of the person. With that, our approach significantly reduces production cost compared to conventional rendering approaches based on production-quality 3D models, and can also be used to realistically edit existing videos. Technically, this is achieved by training a neural network that translates simple synthetic images of a human character into realistic imagery. For training our networks, we first track the 3D motion of the person in the video using the template model, and subsequently generate a synthetically rendered version of the video. These images are then used to train a conditional generative adversarial network that translates synthetic images of the 3D model into realistic imagery of the human. We evaluate our method for the reenactment of another person that is tracked in order to obtain the motion data, and show video results generated from artist-designed skeleton motion. Our results outperform the state-of-the-art in learning-based human image synthesis. Project page: http://gvv.mpi-inf.mpg.de/projects/wxu/HumanReenactment/

研究动机与目标

• 在无需高质量3D模型的情况下，实现对真实人类的视频级逼真动画化，且可由用户控制。
• 相比传统照片级真实感3D渲染流程，降低制作成本与复杂度。
• 通过将一个演员的运动转移到另一个演员，实现对现有视频的逼真编辑。
• 利用深度学习弥合合成3D渲染与真实视频外观之间的差距。
• 支持交互式、实时的姿态编辑与高分辨率输出生成。

提出的方法

• 从单目静态姿态视频中重建带有纹理的3D表面模型及带骨骼绑定的骨架。
• 使用改进的单目人体动作捕捉方法，追踪动作视频中演员的3D运动。
• 通过追踪到的姿态，从3D模型中渲染出彩色图像、深度图和语义分割图，以合成训练数据。
• 训练一个条件生成对抗网络（cGAN），将合成渲染图像翻译为目标人物的逼真图像。
• 在cGAN中引入注意力机制，以提升复杂姿态下特征对齐与外观迁移的效果。
• 推理阶段，使用用户定义的运动（如动作捕捉数据、视频或骨骼序列）驱动3D模型，渲染条件输入，并通过训练好的网络生成逼真视频。

实验结果

研究问题

• RQ1 神经网络能否在无需高端3D模型的前提下，将低保真度3D渲染图像翻译为逼真的人类视频？
• RQ2 如何准确地将源视频中的运动转移到另一名演员，同时保持身份与外观的一致性？
• RQ3 能否通过学习到的图像翻译框架实现实时、交互式的视频编辑？
• RQ4 该方法在处理极端姿态、遮挡或追踪误差时存在哪些局限性？
• RQ5 在仅提供单张参考图像的前提下，该方法能否泛化到任意主体，还是仅限于特定人物的训练？

主要发现

• 该方法在基于图像的人类视频合成任务中达到当前最先进性能，优于以往基于学习的方法。
• 网络推理时间仅为每帧68ms，支持实时交互式姿态编辑。
• 可生成512×512像素的高分辨率结果，提升清晰度，但需更长的训练时间。
• 失败案例包括因大姿态变化、追踪误差或罕见/遮挡姿态导致的手部和脚部伪影。
• 时间上的闪烁现象和局部高频伪影仍然存在，表明当前GAN架构在视频合成方面仍存在局限性。
• 通过帧拼接引入时间上下文并未显著提升性能，表明需要更复杂的时序建模方法。