[论文解读] Neural Shape Mating: Self-Supervised Object Assembly with Adversarial Shape Priors

Yunchun Chen, Haoda Li+3 more|arXiv (Cornell University)|May 30, 2022

Image Processing and 3D Reconstruction被引用 4

一句话总结

本文提出神经形状匹配（Neural Shape Mating, NSM），一种自监督方法，仅基于点云即可精确预测两个几何物体部件的3D位姿，使其紧密贴合，而无需依赖语义信息或目标形状。NSM采用基于Transformer的网络，结合对抗性形状先验和隐式形状重建，在新收集的20万对几何匹配数据集上实现了对多种物体类别和切割类型的鲁棒性能。

ABSTRACT

Learning to autonomously assemble shapes is a crucial skill for many robotic applications. While the majority of existing part assembly methods focus on correctly posing semantic parts to recreate a whole object, we interpret assembly more literally: as mating geometric parts together to achieve a snug fit. By focusing on shape alignment rather than semantic cues, we can achieve across-category generalization. In this paper, we introduce a novel task, pairwise 3D geometric shape mating, and propose Neural Shape Mating (NSM) to tackle this problem. Given the point clouds of two object parts of an unknown category, NSM learns to reason about the fit of the two parts and predict a pair of 3D poses that tightly mate them together. We couple the training of NSM with an implicit shape reconstruction task to make NSM more robust to imperfect point cloud observations. To train NSM, we present a self-supervised data collection pipeline that generates pairwise shape mating data with ground truth by randomly cutting an object mesh into two parts, resulting in a dataset that consists of 200K shape mating pairs from numerous object meshes with diverse cut types. We train NSM on the collected dataset and compare it with several point cloud registration methods and one part assembly baseline. Extensive experimental results and ablation studies under various settings demonstrate the effectiveness of the proposed algorithm. Additional material is available at: https://neural-shape-mating.github.io/

研究动机与目标

• 解决仅基于几何匹配而非语义标签或目标形状引导来组装3D物体部件的挑战。
• 通过聚焦于局部几何相关性而非部件语义，实现在形状匹配中的跨类别泛化。
• 开发一种自监督的数据收集流水线，通过随机切割3D网格生成逼真的形状匹配对。
• 训练一个能泛化到噪声和部分点云观测的鲁棒3D位姿预测模型。
• 为未来研究建立一个包含11个类别的20万对几何形状匹配对的基准数据集。

提出的方法

• NSM使用基于Transformer的编码器，关注两个输入点云局部特征之间的非对称几何相关性。
• 该模型预测每个部件的6D位姿（平移和旋转），以实现紧密的几何贴合，形式化为位姿预测任务。
• 训练一个对抗性判别器，以区分真实匹配配置与生成配置，学习合理的形状先验。
• 单独训练一个隐式形状重建头（SDF网络），以联合提升对噪声或不完整点云的鲁棒性。
• 采用自监督数据生成流水线，从ShapeNet、Thingi10K和扫描数据集中切割真实3D网格，使用平面、正弦、抛物线、方形和脉冲函数将模型分为两部分，生成多样化的匹配对。
• 训练通过组合位姿损失、对抗损失和SDF回归损失进行优化，交替更新生成器和判别器。

实验结果

研究问题

• RQ1 深度学习模型能否仅基于点云、无需语义注释或目标形状，准确预测两个几何部件的3D匹配位姿？
• RQ2 通过学习的形状先验进行对抗性训练，在提升预测匹配配置的真实感和合理性方面效果如何？
• RQ3 联合隐式形状重建在多大程度上提升了对噪声或不完整点云观测的鲁棒性？
• RQ4 NSM在不同物体类别和切割类型下，与标准点云配准和部件组装基线相比，泛化能力如何？
• RQ5 自监督数据生成流水线能否生成多样且逼真的形状匹配对，以用于训练泛化能力强的形状匹配模型？

主要发现

• NSM在多种物体类别中，优于多种点云配准方法和部件组装基线，能更准确地预测匹配位姿。
• 引入对抗性形状先验显著提升了预测匹配配置的合理性，经定性和定量分析验证。
• 与隐式形状重建联合训练增强了对噪声点云的鲁棒性，即使在高噪声水平下也观察到性能提升。
• 该模型在不同物体类别间表现出有效的泛化能力，包括实体、壳体和贴合型形状，证明了其跨类别适用性。
• 消融研究证实了各组件的有效性：Transformer架构、对抗性训练和SDF重建；任一组件的消融均导致性能下降。
• 自监督数据生成流水线成功从11个类别中生成20万对多样化的形状匹配对，实现了大规模、可泛化的训练，且无需人工标注位姿。