[论文解读] Structure-aware Generative Network for 3D-Shape Modeling

Zhijie Wu, Xiang Wang+4 more|arXiv (Cornell University)|Aug 12, 2018

3D Shape Modeling and Analysis参考文献 44被引用 8

一句话总结

SAGNet 是一种结构感知的生成模型，通过带有跨分支特征交换的双分支自编码器，联合学习 3D 形状的几何结构与部件关系，实现在生成形状中对结构与几何的解耦控制。该方法通过显式建模部件之间及其空间构型的依赖关系，提升了重建与生成质量。

ABSTRACT

We present SAGNet, a structure-aware generative model for 3D shapes. Given a set of segmented objects of a certain class, the geometry of their parts and the pairwise relationships between them (the structure) are jointly learned and embedded in a latent space by an autoencoder. The encoder intertwines the geometry and structure features into a single latent code, while the decoder disentangles the features and reconstructs the geometry and structure of the 3D model. Our autoencoder consists of two branches, one for the structure and one for the geometry. The key idea is that during the analysis, the two branches exchange information between them, thereby learning the dependencies between structure and geometry and encoding two augmented features, which are then fused into a single latent code. This explicit intertwining of information enables separately controlling the geometry and the structure of the generated models. We evaluate the performance of our method and conduct an ablation study. We explicitly show that encoding of shapes accounts for both similarities in structure and geometry. A variety of quality results generated by SAGNet are presented. The data and code are at https://github.com/zhijieW-94/SAGNet.

研究动机与目标

• 开发一种显式建模 3D 形状几何与部件间结构关系的生成模型。
• 在生成的 3D 形状中实现对几何与结构的解耦控制。
• 学习一个统一的潜在表征，以捕捉形状之间几何与结构的相似性。
• 通过联合编码部件几何与部件间关系，提升 3D 形状的重建与生成质量。

提出的方法

• 该方法采用双分支自编码器，一个分支用于几何，一个分支用于结构，以实现形状特征的联合学习。
• 编码器通过跨分支信息交换将几何与结构特征交织，在融合为单一潜在代码前实现特征融合。
• 解码器将潜在代码解耦，以重建 3D 形状的几何与结构关系。
• 在跨分支交互后执行特征融合，以保留几何与结构之间的依赖关系。
• 通过重建损失端到端训练模型，以优化形状与结构的潜在空间。
• 该架构通过利用解耦的潜在表征，在生成过程中支持对几何与结构的独立操作。

实验结果

研究问题

• RQ1 生成模型能否联合且有效地学习 3D 形状的几何与结构关系？
• RQ2 自编码器中的跨分支特征交换是否能提升几何-结构依赖关系的建模效果？
• RQ3 所学习的潜在空间是否能支持在形状生成中对几何与结构的解耦控制？
• RQ4 对结构与几何的联合建模如何影响重建与生成质量？

主要发现

• 所提出的方法通过跨分支特征交换联合建模几何与结构，实现了卓越的重建质量。
• 解耦的潜在表征使得在生成过程中能够对几何与结构进行显式控制。
• 消融研究证实，与缺乏此类交互的模型相比，跨分支交互显著提升了性能。
• 定性和定量结果表明，该模型能够捕捉形状之间的几何与结构相似性。
• 该方法能够生成多样化且高质量的 3D 形状，同时保持部件关系与几何保真度。