[论文解读] SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes

Xu Chen, Yufeng Zheng+3 more|arXiv (Cornell University)|Jan 1, 2021

3D Shape Modeling and Analysis参考文献 59被引用 13

一句话总结

SNARF 提出了一种用于神经隐式 3D 形状动画的可微分前向蒙皮框架，通过无监督地从带姿态的网格学习一个与姿态无关的蒙皮权重场和规范形状。通过使用迭代根求解和隐式微分，它能够在未见姿态下实现高保真、与姿态相关的形变，其重建精度和鲁棒性优于当前最先进方法，尤其在分布外移位情况下表现更优。

ABSTRACT

Neural implicit surface representations have emerged as a promising paradigm to capture 3D shapes in a continuous and resolution-independent manner. However, adapting them to articulated shapes is non-trivial. Existing approaches learn a backward warp field that maps deformed to canonical points. However, this is problematic since the backward warp field is pose dependent and thus requires large amounts of data to learn. To address this, we introduce SNARF, which combines the advantages of linear blend skinning (LBS) for polygonal meshes with those of neural implicit surfaces by learning a forward deformation field without direct supervision. This deformation field is defined in canonical, pose-independent space, allowing for generalization to unseen poses. Learning the deformation field from posed meshes alone is challenging since the correspondences of deformed points are defined implicitly and may not be unique under changes of topology. We propose a forward skinning model that finds all canonical correspondences of any deformed point using iterative root finding. We derive analytical gradients via implicit differentiation, enabling end-to-end training from 3D meshes with bone transformations. Compared to state-of-the-art neural implicit representations, our approach generalizes better to unseen poses while preserving accuracy. We demonstrate our method in challenging scenarios on (clothed) 3D humans in diverse and unseen poses.

研究动机与目标

• 为解决神经隐式表示中反向形变场的局限性，其形变依赖于姿态且在未见姿态下泛化能力差。
• 从无预定义蒙皮权重或部件对应关系的 3D 带姿态网格中，学习一个规范的、与姿态无关的蒙皮权重场和神经隐式形状。
• 实现对关节式 3D 形状（包括穿衣服的人体）在任意姿态下的高保真、连续且拓扑灵活的动画。
• 通过隐式微分推导出的解析梯度，实现端到端可微分前向蒙皮的端到端训练。

提出的方法

• 提出一种前向蒙皮模型，通过迭代根求解将形变空间中的点映射回规范空间，以解决多个潜在规范对应点的问题。
• 在规范空间中学习一个密集且连续的蒙皮权重场，该场与姿态无关，并能泛化到未见姿态。
• 使用隐式微分推导出前向蒙皮模块的解析梯度，从而实现从 3D 网格观测中进行端到端反向传播。
• 通过姿态嵌入条件化神经隐式形状函数，以捕捉非线性、与姿态相关的形变，如衣物褶皱和软组织运动。
• 在封闭的 3D 网格序列及其对应的骨骼变换上进行联合训练，无需真实蒙皮权重或部件标签。
• 采用可微分的渲染与优化流程，通过前向蒙皮和神经隐式函数进行反向传播，以同时优化形状和蒙皮权重。

实验结果

研究问题

• RQ1 能否仅从 3D 带姿态网格中端到端训练一个可微分前向蒙皮模型，而无需蒙皮权重或对应关系的监督？
• RQ2 在拓扑变化存在的情况下，如何一致地找到一个形变点的多个规范对应点，以实现鲁棒的形变学习？
• RQ3 与姿态无关的蒙皮场是否能泛化到未见姿态，同时保持神经隐式表面的精细几何细节？
• RQ4 在分布外移位下，前向蒙皮与反向形变场在泛化能力和重建质量方面有何对比？
• RQ5 仅使用网格和骨骼数据，能否有效实现神经隐式形状的逼真、非线性形变动画（如衣物动力学）？

主要发现

• SNARF 在最小着装人体基准上达到最先进性能，与 NASA 及其他基线相比，近表面点的平均 IoU 提升 4.6%。
• 在未见姿态下，SNARF 保持了高重建质量，近表面 IoU 相比 NASA 提升 20.4%，表现出良好的退化特性。
• 该方法生成了具有精细几何细节（如褶皱和关节形变）的逼真、连续形状，即使在极端、分布外的姿态下亦然。
• 定性结果表明，SNARF 生成了姿态正确、衣物形变自然的合理形状，而基线方法则出现不连续、部件缺失或身体扭曲等伪影。
• 学习到的蒙皮权重在身体各部分之间呈现平滑过渡，反映出无需监督的准确解剖学分配。
• 规范形状学习了与姿态相关的修正项，如热力图所示，其与规范姿态的形变差异表明实现了非线性形状自适应。