[论文解读] SDM-NET: Deep Generative Network for Structured Deformable Mesh

Lin Gao, Jie Yang+5 more|arXiv (Cornell University)|Aug 13, 2019

3D Shape Modeling and Analysis参考文献 55被引用 30

一句话总结

SDM-NET 提出了一种两级变分自编码器（VAE），通过将3D形状建模为可变形、亏格为零的盒状部件的空间排列，实现结构化可变形网格的生成。它在共享潜在空间中联合学习部件几何与全局结构，从而实现高保真度、拓扑灵活的3D形状生成与插值，具备有意义的部件级可编辑性及精细的几何细节。

ABSTRACT

We introduce SDM-NET, a deep generative neural network which produces structured deformable meshes. Specifically, the network is trained to generate a spatial arrangement of closed, deformable mesh parts, which respect the global part structure of a shape collection, e.g., chairs, airplanes, etc. Our key observation is that while the overall structure of a 3D shape can be complex, the shape can usually be decomposed into a set of parts, each homeomorphic to a box, and the finer-scale geometry of the part can be recovered by deforming the box. The architecture of SDM-NET is that of a two-level variational autoencoder (VAE). At the part level, a PartVAE learns a deformable model of part geometries. At the structural level, we train a Structured Parts VAE (SP-VAE), which jointly learns the part structure of a shape collection and the part geometries, ensuring a coherence between global shape structure and surface details. Through extensive experiments and comparisons with the state-of-the-art deep generative models of shapes, we demonstrate the superiority of SDM-NET in generating meshes with visual quality, flexible topology, and meaningful structures, which benefit shape interpolation and other subsequently modeling tasks.

研究动机与目标

• 解决现有深度生成模型在生成具有灵活拓扑结构、有意义结构和精细几何细节的网格方面的局限性。
• 实现在部件可变形且保持一致拓扑（同胚于盒状）的结构化 3D 形状生成，支持生成与编辑。
• 在统一潜在空间中联合建模全局部件结构与局部几何，提升形状结构与表面细节之间的一致性。
• 通过解耦潜在空间中部件几何与结构关系，支持形状插值与编辑。
• 通过结构化、基于部件的表示，使生成形状可直接用于基于装配的建模与形变任务。

提出的方法

• 采用两级变分自编码器：PartVAE 用于学习单个部件的可变形几何，Structured Parts VAE (SP-VAE) 用于联合建模全局部件结构与几何。
• 将每个形状部件表示为亏格为零的网格（拓扑等价于盒状），通过从固定连接的原始网格变形以捕捉精细几何细节。
• 使用基于支撑的部件连接优化方法，确保生成过程中保持结构一致性，如对称性与支撑关系。
• 将部件几何与结构布局编码至共享潜在空间，支持通过线性插值潜在码实现跨形状的插值。
• 通过施加硬约束（如对称部件长度相等）与现成的形变方法，实现交互式编辑。
• 通过 [Huang et al., 2018] 的后处理步骤生成封闭网格，尽管各部件本身已设计为封闭。

实验结果

研究问题

• RQ1 深度生成模型能否在保持有意义且结构化的部件分解的同时，生成具有灵活拓扑结构和精细几何细节的3D形状？
• RQ2 两级 VAE 架构能否联合建模部件级几何与全局结构关系，从而提升生成质量与一致性？
• RQ3 在共享潜在空间中的线性插值能否生成结构与几何一致的合理中间形状？
• RQ4 生成的结构化可变形网格能否支持带结构约束（如对称性、等长）的交互式编辑与形变？
• RQ5 该模型在复杂或非标准部件上的泛化能力如何？其在拓扑与形状分布上的局限性是什么？

主要发现

• SDM-NET 生成的3D形状在视觉质量与精细几何细节方面表现优异，在定性与定量评估中均优于当前最先进网格生成模型。
• 潜在空间中的线性插值可生成合理的中间形状，保持结构一致性并呈现平滑的几何过渡，如在飞机与椅子的插值中所展示。
• 该方法支持对生成形状的直接、交互式编辑，如部件移除、带对称性约束的长度调整以及表面形变，所有约束均在优化框架中强制实施。
• 生成的部件本身为封闭网格，通过后处理可使完整形状实现封闭，适用于模拟与3D打印等下游应用。
• 该模型受限于部件必须为亏格零拓扑；具有内部孔洞或非盒状拓扑的部件（如吉他头）会被视为异常值，重建效果较差。
• 当前模型需针对特定类别进行训练，无法在不同形状类别间进行插值，且使用高分辨率固定尺寸的原始网格，尽管细节丰富，但导致存储成本较高。