[论文解读] Structure-Preserving 3D Garment Modeling with Neural Sewing Machines

Xipeng Chen, Guangrun Wang+4 more|arXiv (Cornell University)|Nov 12, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出了一种神经缝纫机（Neural Sewing Machine, NSM），通过利用缝纫图样作为结构先验，实现结构保持的3D服装建模。NSM将多种服装拓扑结构编码为统一嵌入，通过带有掩码的UV位置图将嵌入解码为3D形状，并利用内层面、跨面以及表面法线损失来保证结构保真度，在各类服装类别和拓扑结构下均实现了最先进的3D重建与可控操作性能。

ABSTRACT

3D Garment modeling is a critical and challenging topic in the area of computer vision and graphics, with increasing attention focused on garment representation learning, garment reconstruction, and controllable garment manipulation, whereas existing methods were constrained to model garments under specific categories or with relatively simple topologies. In this paper, we propose a novel Neural Sewing Machine (NSM), a learning-based framework for structure-preserving 3D garment modeling, which is capable of learning representations for garments with diverse shapes and topologies and is successfully applied to 3D garment reconstruction and controllable manipulation. To model generic garments, we first obtain sewing pattern embedding via a unified sewing pattern encoding module, as the sewing pattern can accurately describe the intrinsic structure and the topology of the 3D garment. Then we use a 3D garment decoder to decode the sewing pattern embedding into a 3D garment using the UV-position maps with masks. To preserve the intrinsic structure of the predicted 3D garment, we introduce an inner-panel structure-preserving loss, an inter-panel structure-preserving loss, and a surface-normal loss in the learning process of our framework. We evaluate NSM on the public 3D garment dataset with sewing patterns with diverse garment shapes and categories. Extensive experiments demonstrate that the proposed NSM is capable of representing 3D garments under diverse garment shapes and topologies, realistically reconstructing 3D garments from 2D images with the preserved structure, and accurately manipulating the 3D garment categories, shapes, and topologies, outperforming the state-of-the-art methods by a clear margin.

研究动机与目标

• 解决现有3D服装建模方法受限于特定类别或简单拓扑结构的局限性。
• 通过可学习的、结构感知的框架，实现对多样化形状与拓扑结构的通用3D服装建模。
• 通过显式建模内在几何与拓扑结构，提升3D服装重建与可控操作性能。
• 克服深度模型在3D服装生成过程中无法保持接缝与面层面结构的失败问题。

提出的方法

• 统一的缝纫图样编码模块从2D服装面片中提取嵌入，采用基于主成分分析（PCA）的参数化编码方法，以处理多样化类别与拓扑结构。
• 3D服装解码器通过带有掩码的UV位置图，利用逆PCA与卷积神经网络（CNN）进行空间映射，从嵌入重建3D形状。
• 内层面结构保持损失通过最小化每个面片内部的形变，确保2D面片与3D表面之间的局部等距性。
• 跨面结构保持损失通过保持接缝一致性，维护相邻面片之间的正确拓扑关系。
• 表面法线损失通过使预测的表面法线与真实法线对齐，强化几何保真度。
• 该框架联合优化重建损失与结构保持损失，生成逼真且拓扑准确的3D服装。

实验结果

研究问题

• RQ1 基于学习的框架能否在不依赖固定模板或人体特异性假设的前提下，泛化至多样化3D服装类别与拓扑结构？
• RQ2 如何通过深度学习显式保留3D服装生成过程中的内在几何与拓扑结构？
• RQ3 结构保持损失在多大程度上提升了3D服装重建质量，超越标准重建指标？
• RQ4 该模型能否通过2D面片操作实现对服装类别、形状与拓扑结构的可控编辑？
• RQ5 该框架在推理阶段是否具备泛化至未见服装类别能力？

主要发现

• 完整NSM模型的平均测地线长度误差（MGLE）为3.54 cm，显著优于基线方法，在仅依赖重建的基线上提升了1.84 cm的性能。
• 消融研究显示，加入跨面损失后MGLE从4.69 cm降至3.62 cm，再加入表面法线损失后进一步降至3.54 cm，证明了结构感知损失的必要性。
• Chamfer与P2S指标本身无法反映结构质量，因其无法捕捉拓扑错误——MGLE是结构保真度更可靠的指标。
• 该模型能从单张图像成功重建3D服装并保持内在结构，即使在训练中未见的复杂拓扑结构下亦表现良好。
• 通过2D面片形状与类别操作实现的可控编辑，可实现逼真的类别迁移与形状变化，包括对未见类别的泛化。
• 在缝纫图样嵌入空间中的插值，可在2D面片与生成的3D服装形状之间产生一致且平滑的过渡。