[论文解读] Self-Supervised Collision Handling via Generative 3D Garment Models for Virtual Try-On

Igor Santesteban, Nils Thuerey+2 more|arXiv (Cornell University)|May 13, 2021

3D Shape Modeling and Analysis参考文献 73被引用 5

一句话总结

该论文提出了一种自监督、数据驱动的3D虚拟试穿生成模型，通过引入一种新型的服装规范空间和扩散人体表示，无需后处理即可消除服装与身体的穿插。该方法在规范形变子空间中通过自监督损失学习无碰撞形变，实现了在未见人体形态和动作上的最先进性能，碰撞率为0.09%。

ABSTRACT

We propose a new generative model for 3D garment deformations that enables us to learn, for the first time, a data-driven method for virtual try-on that effectively addresses garment-body collisions. In contrast to existing methods that require an undesirable postprocessing step to fix garment-body interpenetrations at test time, our approach directly outputs 3D garment configurations that do not collide with the underlying body. Key to our success is a new canonical space for garments that removes pose-and-shape deformations already captured by a new diffused human body model, which extrapolates body surface properties such as skinning weights and blendshapes to any 3D point. We leverage this representation to train a generative model with a novel self-supervised collision term that learns to reliably solve garment-body interpenetrations. We extensively evaluate and compare our results with recently proposed data-driven methods, and show that our method is the first to successfully address garment-body contact in unseen body shapes and motions, without compromising realism and detail.

研究动机与目标

• 为解决现有方法中数据驱动虚拟试穿普遍存在的服装-身体穿插问题，该问题通常需要后处理。
• 通过在训练期间直接学习无碰撞服装形变，消除对后处理的需求。
• 在未见人体形态和动作上实现稳健泛化，确保真实感和物理合理性。
• 开发一种可微分的、规范的服装形变表示，以支持自监督穿插学习。
• 在保持高几何细节的同时，提升推理效率和生成服装的真实感。

提出的方法

• 提出一种扩散的、体素化的身体表示，将蒙皮权重和混合形状扩展至任意3D点，实现平滑的形变建模。
• 提出一种新型的服装规范空间，消除由扩散人体模型已捕获的与姿态和形状相关的形变。
• 将蒙皮参数定义为未姿态化和去形状化服装配置的函数，确保投影到姿态化状态时无碰撞。
• 通过全面采样生成形变子空间，利用自监督穿插损失学习避免穿插。
• 使用回归器预测规范空间中的形变，随后通过服装模型的可微投影生成最终3D网格。
• 采用端到端训练的生成模型，结合一种新型损失函数，惩罚规范空间中的穿插，确保输出无碰撞。

实验结果

研究问题

• RQ1 数据驱动的3D虚拟试穿方法能否在无需后处理的情况下学习避免服装-身体穿插？
• RQ2 如何构建一种规范的服装表示，以将形状和姿态形变与底层人体模型解耦？
• RQ3 自监督学习能否有效训练生成模型，在多样化的人体形态和动作中避免穿插？
• RQ4 该方法在未见人体形态和动态动作上的泛化能力如何，是否超出训练分布？
• RQ5 与基于物理的仿真和现有数据驱动方法相比，该方法在性能和真实感方面表现如何？

主要发现

• 所提方法在AMASS数据集的未见测试序列上仅实现0.09%的碰撞率，显著优于最先进方法。
• 若不使用完整的碰撞损失，方法的碰撞率上升至0.62%，表明自监督损失项的关键作用。
• 该方法能有效泛化至未见人体形态，包括远超训练分布的极端体型，且无可见穿插。
• 即使在如飘逸长裙等高度动态序列中，方法也能生成与基于物理仿真的结果相当的逼真褶皱和动态效果。
• 推理性能高效，复杂服装（如23k个三角面）的每帧推理时间低于3ms，支持实时应用。
• 基于后处理的方法虽可减少穿插，但常引入不自然的凸起等新伪影，而本方法完全避免此类问题。