[论文解读] PBNS: Physically Based Neural Simulator for Unsupervised Garment Pose Space Deformation

Hugo Bertiche, Meysam Madadi+1 more|arXiv (Cornell University)|Dec 21, 2020

3D Shape Modeling and Analysis被引用 11

一句话总结

本文提出PBNS，一种基于深度学习的无监督神经模拟器，通过将问题表述为隐式物理基础模拟（PBS），学习具有物理一致性的绑定服装的姿势空间变形（PSD）。该方法训练仅需数分钟，无需后处理即可生成无碰撞、与姿态相关的褶皱，并实现实时性能（在GPU上超过14,000 FPS），支持高效、可扩展的3D服装动画，且与标准LBS工作流程兼容。

ABSTRACT

We present a methodology to automatically obtain Pose Space Deformation (PSD) basis for rigged garments through deep learning. Classical approaches rely on Physically Based Simulations (PBS) to animate clothes. These are general solutions that, given a sufficiently fine-grained discretization of space and time, can achieve highly realistic results. However, they are computationally expensive and any scene modification prompts the need of re-simulation. Linear Blend Skinning (LBS) with PSD offers a lightweight alternative to PBS, though, it needs huge volumes of data to learn proper PSD. We propose using deep learning, formulated as an implicit PBS, to unsupervisedly learn realistic cloth Pose Space Deformations in a constrained scenario: dressed humans. Furthermore, we show it is possible to train these models in an amount of time comparable to a PBS of a few sequences. To the best of our knowledge, we are the first to propose a neural simulator for cloth. While deep-based approaches in the domain are becoming a trend, these are data-hungry models. Moreover, authors often propose complex formulations to better learn wrinkles from PBS data. Supervised learning leads to physically inconsistent predictions that require collision solving to be used. Also, dependency on PBS data limits the scalability of these solutions, while their formulation hinders its applicability and compatibility. By proposing an unsupervised methodology to learn PSD for LBS models (3D animation standard), we overcome both of these drawbacks. Results obtained show cloth-consistency in the animated garments and meaningful pose-dependant folds and wrinkles. Our solution is extremely efficient, handles multiple layers of cloth, allows unsupervised outfit resizing and can be easily applied to any custom 3D avatar.

研究动机与目标

• 解决传统物理基础模拟（PBS）和监督深度学习方法在3D服装动画中计算成本高、数据依赖性强的问题。
• 实现无需PBS模拟或4D扫描数据即可对绑定服装进行无监督的姿势空间变形（PSD）学习。
• 开发一种可与标准LBS动画工作流程兼容、生成物理一致且无碰撞的布料形变的方法。
• 大幅降低训练时间和计算需求，实现针对多样化角色和服装的快速部署。
• 支持在VR/AR及实时应用中对复杂多层服装进行可扩展、高效且实时的动画处理。

提出的方法

• 使用深度神经网络将服装形变预测建模为隐式物理基础模拟（PBS），通过最小化物理基础能量函数实现。
• 通过最小化强制实现物理一致性的损失函数（如低能量构型和碰撞避免）实现无监督训练。
• 使用小型轻量级MLP直接从姿态参数预测PSD混合形状，确保与标准LBS动画系统的兼容性。
• 利用可微分的物理公式隐式编码布料动力学，避免显式模拟或后处理的需要。
• 在2,550个体态的子集上使用Adam优化器进行训练，即使在CPU上，每轮训练时间也仅为1–2分钟。
• 部署训练好的模型以实现实时推理，在CPU和GPU上均实现高速动画。

实验结果

研究问题

• RQ1 深度学习模型是否能在不依赖大规模PBS或扫描数据的情况下，学习到逼真且物理一致的服装形变？
• RQ2 通过隐式PBS公式进行无监督训练，是否能生成无需后处理的无碰撞、与姿态相关的褶皱？
• RQ3 是否可能在几分钟内完成神经服装模拟器的训练，即使没有GPU，同时保持高保真度和效率？
• RQ4 所提出的方法是否能高效部署于视频游戏和VR/AR等实时应用中，并在不同角色和服装间实现可扩展性？
• RQ5 所学习的PSD在性能和物理一致性方面与现有监督深度学习及PBS方法相比如何？

主要发现

• PBNS模型在GPU上实现超过14,000 FPS的批量推理速度，在CPU上实现1,235 FPS，针对12k顶点的服装，显著优于以往的PBS和深度学习方法。
• 在GTX1080Ti上每轮训练仅需1–2分钟，无GPU时每轮2–4分钟，支持快速迭代与部署。
• 该方法无需任何后处理即可生成物理一致且无碰撞的服装，确保实时可用性。
• 该模型可泛化至不同体型，适用于任意3D角色，支持无监督的服装尺寸调整与多层布料模拟。
• 结果在未见过的姿态序列上展现出有意义的、与姿态相关的褶皱，并保持时间一致性，定性表现达到PBS的真实感水平。
• 该方法完全兼容标准LBS工作流程，可无缝集成至现有3D动画软件和游戏引擎中。