[论文解读] VolTeMorph: Realtime, Controllable and Generalisable Animation of Volumetric Representations

Stephan J. Garbin, M. Kowalski+6 more|arXiv (Cornell University)|Aug 1, 2022

Human Motion and Animation被引用 15

一句话总结

VolTeMorph 提出了一种实时、可控且可泛化的体积表示动画方法，通过变形保持神经辐射场（NeRF）逼真度的四面体网格，实现对 NeRF 类体积场景的动画化。该方法支持基于混合形状（blendshapes）或物理模拟的动态、艺术家友好的动画，适用于通用物体及个性化角色，可呈现未见过的表情与动作。

ABSTRACT

The recent increase in popularity of volumetric representations for scene reconstruction and novel view synthesis has put renewed focus on animating volumetric content at high visual quality and in real-time. While implicit deformation methods based on learned functions can produce impressive results, they are `black boxes' to artists and content creators, they require large amounts of training data to generalise meaningfully, and they do not produce realistic extrapolations outside the training data. In this work we solve these issues by introducing a volume deformation method which is real-time, easy to edit with off-the-shelf software and can extrapolate convincingly. To demonstrate the versatility of our method, we apply it in two scenarios: physics-based object deformation and telepresence where avatars are controlled using blendshapes. We also perform thorough experiments showing that our method compares favourably to both volumetric approaches combined with implicit deformation and methods based on mesh deformation.

研究动机与目标

• 解决现有 NeRF 动画方法的局限性，这些方法通常为黑箱模型，需要大量训练数据，且难以泛化到已见动作之外。
• 在消费级硬件上实现实时动态体积内容渲染，同时保持高视觉保真度。
• 支持多样化物体与角色（包括个性化人像）的可扩展内容创作。
• 确保与现有动画控制机制（如混合形状和基于物理的模拟）的兼容性。
• 通过可微、可解释的变形框架，实现对未见表情与动作的外推。

提出的方法

• 将静态体积场景表示为编码几何与神经辐射场（NeRF）的四面体网格，以实现逼真渲染。
• 使用艺术家友好的技术（如混合形状或基于物理的模拟）对四面体网格进行形变，同时保持底层 NeRF 以实现高质量渲染。
• 采用双 MLP 分层采样策略，高效评估射线上的辐射度与密度，提升清晰度并减少伪影。
• 将 3DMM 人脸模型扩展为体积表示（Vol3DMM），以支持标准姿态形变，并泛化至未见的面部表情。
• 利用硬件加速的光线追踪实现实时推理，确保在现代 GPU 上的性能表现。
• 应用可微形变流水线，将控制参数（如混合形状权重或物理状态）映射到四面体网格的顶点位置。

实验结果

研究问题

• RQ1 体积形变方法是否能在保持动态场景逼真渲染质量的同时实现实时性能？
• RQ2 基于四面体网格的形变框架能否以统一、艺术家可控的方式同时支持基于物理的模拟与混合形状驱动的动画？
• RQ3 当仅使用单张主体静态图像进行训练时，该方法在泛化至未见面部表情与姿态方面的能力如何？
• RQ4 该方法在训练期间未见的动态动作（尤其是物体碎裂等复杂拓扑变化）上的外推性能如何？
• RQ5 该方法在处理训练期间未见过的区域或模型拟合不佳情况下的局限性是什么？

主要发现

• VolTeMorph 在消费级 GPU 上实现了实时推理（20–30 FPS），支持体积场景的交互式动画。
• 与隐式形变和基于网格的方法相比，该方法在视觉质量和泛化能力方面表现更优，尤其在处理未见表情与动作时。
• 使用两个 MLP 与分层采样策略会导致细小结构（如牙齿）缺失，而采用单个 MLP 与所提采样策略可提升清晰度并消除环形伪影。
• 使用所提分层采样策略的渲染 PSNR（32.1）显著优于默认双 MLP 设置（29.8）与单 MLP 基线（30.5）。
• Vol3DMM 实现了即使仅用 30 张单一表情图像训练，也能生成逼真且包含未见表情与姿态的动画角色。
• 局限性包括未见区域（如口腔内部）的外观生成不准确、对人脸模型拟合不佳敏感，以及眼球与眼睑的联合形变导致不自然拉伸。