[论文解读] SCORES: Shape Composition with Recursive Substructure Priors

Chenyang Zhu, Kai Xu+3 more|arXiv (Cornell University)|Sep 14, 2018

3D Shape Modeling and AnalysisEngineering参考文献 27被引用 16

一句话总结

SCORES 引入了一种递归神经网络，通过重新配置、添加或移除组件，学习分层子结构先验，从而从不兼容的部件中组合出新颖且连贯的3D形状。它使用基于节点的合理性损失的递归自编码器来优化部件结构，实现超越训练样本的高质量、结构合理的组合。

ABSTRACT

We introduce SCORES, a recursive neural network for shape composition. Our network takes as input sets of parts from two or more source 3D shapes and a rough initial placement of the parts. It outputs an optimized part structure for the composed shape, leading to high-quality geometry construction. A unique feature of our composition network is that it is not merely learning how to connect parts. Our goal is to produce a coherent and plausible 3D shape, despite large incompatibilities among the input parts. The network may significantly alter the geometry and structure of the input parts and synthesize a novel shape structure based on the inputs, while adding or removing parts to minimize a structure plausibility loss. We design SCORES as a recursive autoencoder network. During encoding, the input parts are recursively grouped to generate a root code. During synthesis, the root code is decoded, recursively, to produce a new, coherent part assembly. Assembled shape structures may be novel, with little global resemblance to training exemplars, yet have plausible substructures. SCORES therefore learns a hierarchical substructure shape prior based on per-node losses. It is trained on structured shapes from ShapeNet, and is applied iteratively to reduce the plausibility loss.We showresults of shape composition from multiple sources over different categories of man-made shapes and compare with state-of-the-art alternatives, demonstrating that our network can significantly expand the range of composable shapes for assembly-based modeling.

研究动机与目标

• 解决从无法简单连接的不兼容部件中组合出结构合理的3D形状的挑战。
• 实现超越简单部件连接的形状组合，允许显著的几何与结构重构。
• 从 ShapeNet 数据中学习分层子结构先验，以支持新颖且连贯的形状合成。
• 通过使用递归自编码器架构迭代优化部件结构，最小化合理性损失。
• 无需部件语义或关系信息，仅依赖定向包围盒（OBBs）与空间关系进行操作。

提出的方法

• SCORES 采用递归自编码器：通过自底向上的子结构聚合，将部件分层编码为根编码。
• 在解码过程中，根编码被递归展开为新的、连贯的部件组合，实现结构合成。
• 使用基于节点的合理性损失指导优化，确保所有层级的子结构在几何与拓扑上均合理。
• 网络在 ShapeNet 的分割3D形状上进行训练，使用类似 VQ-VAE 的代码本对潜在表示进行离散化。
• 通过两次遍历实现结构迭代调整：自底向上的编码与自顶向下的解码，结合代码优化。
• 该方法允许在组合过程中添加或移除部件，以解决不兼容性并最小化合理性损失。

实验结果

研究问题

• RQ1 神经网络能否学习一种分层子结构先验，以实现从不兼容部件中组合出合理3D形状？
• RQ2 该网络在多大程度上能合成训练数据中未见的新颖、连贯结构？
• RQ3 带有基于节点合理性损失的递归自编码器在解决大范围几何与拓扑不兼容性方面效果如何？
• RQ4 该方法能否在无需部件语义或显式关系信息的情况下运行，仅依赖OBBs与空间上下文？
• RQ5 当子结构稀少或跨类别部件被合并时，其失败模式是什么？

主要发现

• SCORES 能够组合出与训练样本全局相似度较低的新颖3D形状，同时在所有层级保持合理的子结构。
• 与最先进方法相比，该方法显著扩展了可组合形状的范围，尤其在创意性、非传统组合中表现更优。
• 当训练数据中子结构稀少时，失败案例多为网络用更常见但错误的配置替代原始子结构。
• 当合并跨类别部件（如椅子与桌子部件）时，若潜在空间偏向某一类别，结果会变得不切实际。
• 网络可在组合过程中添加或移除部件，例如插入自行车坐垫或移除冗余的椅子靠背，以提升合理性。
• 该方法对未标注的OBBs具有鲁棒性，无需部件语义信息，仅依赖空间上下文与学习到的子结构先验。