[论文解读] PartNet: A Recursive Part Decomposition Network for Fine-grained and Hierarchical Shape Segmentation

Fenggen Yu, Kun Liu+3 more|arXiv (Cornell University)|Mar 2, 2019

3D Shape Modeling and Analysis参考文献 41被引用 4

一句话总结

PartNet 提出了一种基于递归神经网络的深度学习模型，用于从点云中进行分层、细粒度的 3D 形状分割，能够根据结构复杂度灵活地分解为任意数量的部件。通过在树状层次结构中共享权重，传播递归上下文特征，并结合部件特定的几何信息，该模型在联合预测分解类型（邻接/对称性）和停止条件的同时，实现了最先进性能。

ABSTRACT

Deep learning approaches to 3D shape segmentation are typically formulated as a multi-class labeling problem. Existing models are trained for a fixed set of labels, which greatly limits their flexibility and adaptivity. We opt for top-down recursive decomposition and develop the first deep learning model for hierarchical segmentation of 3D shapes, based on recursive neural networks. Starting from a full shape represented as a point cloud, our model performs recursive binary decomposition, where the decomposition network at all nodes in the hierarchy share weights. At each node, a node classifier is trained to determine the type (adjacency or symmetry) and stopping criteria of its decomposition. The features extracted in higher level nodes are recursively propagated to lower level ones. Thus, the meaningful decompositions in higher levels provide strong contextual cues constraining the segmentations in lower levels. Meanwhile, to increase the segmentation accuracy at each node, we enhance the recursive contextual feature with the shape feature extracted for the corresponding part. Our method segments a 3D shape in point cloud into an unfixed number of parts, depending on the shape complexity, showing strong generality and flexibility. It achieves the state-of-the-art performance, both for fine-grained and semantic segmentation, on the public benchmark and a new benchmark of fine-grained segmentation proposed in this work. We also demonstrate its application for fine-grained part refinements in image-to-shape reconstruction.

研究动机与目标

• 解决现有深度学习模型在固定语义标签集合上进行训练所导致的僵化性，从而限制了其在不同部件数量下的适应能力。
• 通过将形状分解建模为自顶向下的递归二叉分割过程，利用其分层特性，借助上下文约束提升分割精度。
• 开发一种灵活的架构，能够根据结构复杂度将形状分割为任意数量的部件，而非预定义的标签。
• 通过在每个分解节点处整合全局递归上下文特征与局部部件几何信息，提升分割精度。
• 展示细粒度分层分割在下游任务中的实用性，例如通过部件级细化实现从图像到形状的重建。

提出的方法

• 该模型使用具有层次结构中所有节点共享权重的递归神经网络（RvNN），对表示为点云的 3D 形状执行自顶向下的二叉分解。
• 在每个节点处，分类器预测分解类型（邻接或对称性）以及是否停止（叶节点），从而实现动态、结构感知的分割。
• 递归上下文特征从父节点向子节点传播，为低层分割提供高层结构线索，起到约束作用。
• 为每个子部件提取局部部件形状特征，并与递归上下文特征融合，以提升每个节点处的定位精度。
• 网络通过端到端训练，采用多任务损失函数，结合层次结构中每个节点的节点分类损失和二值点标签损失。
• 在优化阶段应用分层重建损失，通过自底向上的部件点云组合来监督单个部件的优化。

实验结果

研究问题

• RQ1 深度学习模型能否在不被固定语义标签集合限制的前提下，实现灵活的分层 3D 形状分割？
• RQ2 来自高层分解的递归上下文特征在多大程度上能提升低层部件的分割精度？
• RQ3 联合预测分解类型（邻接/对称性）和停止条件是否能增强细粒度部件分割？
• RQ4 将局部部件几何信息与全局递归上下文特征结合，在多大程度上能提升分割性能？
• RQ5 PartNet 学习到的分层结构能否有效用于改进单视角图像生成的低质量 3D 重建？

主要发现

• PartNet 在公开的 ShapeNet 基准和新提出的细粒度分割基准上均实现了最先进性能，证明了其在细粒度和语义分割任务中的卓越准确率。
• 该模型能够根据结构复杂度将复杂形状灵活分解为任意数量的部件，而无需受限于预定义的部件数量，这与固定标签模型形成鲜明对比。
• 将递归上下文特征与局部部件几何信息结合，可实现更精确且上下文一致的分割结果，尤其在细粒度层级表现显著。
• 该模型能正确识别对称和相邻部件，从而提升标签一致性，并减少在结构对称形状中的错误。
• 在图像到形状重建任务中，该方法通过利用分层部件分解实现局部化、结构感知的优化，显著提升了重建点云的质量。
• 消融研究显示，使用基于规则的方法构建的真值层次结构进行训练可显著提升性能，表明结构化监督的重要性。