[论文解读] SNUG: Self-Supervised Neural Dynamic Garments

Igor Santesteban, Miguel Á. Otaduy+1 more|arXiv (Cornell University)|Apr 5, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

SNUG 提出了一种用于动态 3D 服装形变的自监督学习框架，利用基于物理的优化作为可微分损失，无需昂贵的真实值数据集。通过将隐式积分器重述为优化问题，其训练时间相比监督方法实现了 100 倍的加速，同时实现了最先进水平的真实感。

ABSTRACT

We present a self-supervised method to learn dynamic 3D deformations of garments worn by parametric human bodies. State-of-the-art data-driven approaches to model 3D garment deformations are trained using supervised strategies that require large datasets, usually obtained by expensive physics-based simulation methods or professional multi-camera capture setups. In contrast, we propose a new training scheme that removes the need for ground-truth samples, enabling self-supervised training of dynamic 3D garment deformations. Our key contribution is to realize that physics-based deformation models, traditionally solved in a frame-by-frame basis by implicit integrators, can be recasted as an optimization problem. We leverage such optimization-based scheme to formulate a set of physics-based loss terms that can be used to train neural networks without precomputing ground-truth data. This allows us to learn models for interactive garments, including dynamic deformations and fine wrinkles, with two orders of magnitude speed up in training time compared to state-of-the-art supervised methods

研究动机与目标

• 为解决 3D 服装形变监督学习中高昂的数据与计算成本，消除对真实值 3D 网格数据的需求。
• 仅使用基于物理的约束，实现动态 3D 服装的自监督训练，无需预计算的数据集。
• 通过利用内在物理特性而非顶点级别的 L2 损失，提升学习到的服装形变的泛化能力与真实感。
• 在统一的自监督框架内，轻松适配不同的材料模型。
• 在保持或超越最先进监督方法真实感的同时，实现更快的训练与推理速度。

提出的方法

• 将逐帧基于物理的积分（如后向欧拉法）重述为可微分的优化问题。
• 将优化目标用作自监督损失函数，整合了来自运动方程的惯性能量与静态能量项。
• 通过最小化此基于物理的损失训练神经网络以预测服装形变，无需真实值网格数据。
• 仅以身体形状、姿态和材料参数作为输入，实现端到端训练，无需显式监督。
• 通过调整优化损失中的能量项，支持多种材料模型，实现在不同织物间的泛化能力。
• 采用两阶段训练方案：首先，回归器学习从身体参数预测形变；其次，使用基于物理的损失对网络进行微调。

实验结果

研究问题

• RQ1 是否可以在不使用任何真实值 3D 网格数据的情况下学习动态 3D 服装形变？
• RQ2 基于物理的模拟原理能否作为神经服装形变模型的自监督信号？
• RQ3 自监督方法是否能在减少训练时间的同时，实现与监督方法相当或更优的真实感？
• RQ4 基于物理的优化损失如何影响学习到的服装动态的真实感与泛化能力？
• RQ5 该框架是否能在不重新训练的情况下，泛化到不同的身体形状、姿态和材料类型？

主要发现

• 尽管未使用任何真实值数据，SNUG 实现的服装形变效果与最先进监督方法（如 Santesteban et al. [45] 和 TailorNet [39]）相当。
• 与在同一组动作上训练的监督基线相比，自监督方法生成了更细致的褶皱，定性对比与补充视频已证实此结果。
• 相比依赖预计算物理模拟的监督方法，训练时间减少了约两个数量级（100 倍）。
• 该方法在未见的身体形状与姿态上泛化良好，能生成与姿态和体型相关的褶皱，且无过拟合现象。
• 通过依赖物理能量最小化而非 L2 顶点级损失，有效缓解了常见平滑伪影。
• 消融研究证实，基于物理的损失中的所有组件（惯性项、静态项与接触项）均对提升真实感与动态行为有贡献。