[论文解读] MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization

Jiahui Huang, He Wang+5 more|arXiv (Cornell University)|Jan 17, 2021

3D Shape Modeling and Analysis参考文献 83被引用 4

一句话总结

MultiBodySync 提出了一种端到端、可微分的深度声明式网络，通过利用谱同步来强制执行对应关系和分割一致性，联合完成多个无序3D扫描中的多体运动分割与刚性配准。该方法在合成数据集和真实世界数据集（包括新基准 DynLab）上均实现了最先进性能，并展现出对未见物体类别的强泛化能力。

ABSTRACT

We present MultiBodySync, a novel, end-to-end trainable multi-body motion segmentation and rigid registration framework for multiple input 3D point clouds. The two non-trivial challenges posed by this multi-scan multibody setting that we investigate are: (i) guaranteeing correspondence and segmentation consistency across multiple input point clouds capturing different spatial arrangements of bodies or body parts; and (ii) obtaining robust motion-based rigid body segmentation applicable to novel object categories. We propose an approach to address these issues that incorporates spectral synchronization into an iterative deep declarative network, so as to simultaneously recover consistent correspondences as well as motion segmentation. At the same time, by explicitly disentangling the correspondence and motion segmentation estimation modules, we achieve strong generalizability across different object categories. Our extensive evaluations demonstrate that our method is effective on various datasets ranging from rigid parts in articulated objects to individually moving objects in a 3D scene, be it single-view or full point clouds.

研究动机与目标

• 解决在空间排列各异的多个无序3D扫描中，实现一致的基于运动的分割与刚性配准的挑战。
• 在无需类别特定先验知识的前提下，实现对新物体类别的鲁棒且可泛化的运动分割。
• 通过统一的可微分框架，同时恢复多个扫描间一致的点对应关系与运动分割标签。
• 克服现有方法依赖顺序数据或假设已知语义的局限，处理非时序密集、间歇性扫描的情形。

提出的方法

• 采用基于深度声明式网络的可微分架构，联合优化对应关系与运动分割。
• 利用3D场景流估计初始化扫描之间的成对对应关系。
• 引入两个同步模块：一个用于对应关系的加权排列同步，另一个用于分割标签同步。
• 应用谱同步以强制所有扫描间对应关系与分割结果的全局一致性。
• 显式解耦几何与运动估计，从而实现对未见物体类别的泛化能力。
• 通过多轮同步步骤的迭代优化，提升精度与鲁棒性。

实验结果

研究问题

• RQ1 能否通过深度学习框架在多个无序3D扫描中联合且一致地估计运动分割与刚性配准？
• RQ2 在存在大姿态变化与部分视图的情况下，如何在多个扫描间强制实现对应关系与分割的一致性？
• RQ3 该方法能否在无需微调的情况下泛化到新物体类别，特别是对可动部件与刚性整体物体？
• RQ4 谱同步对提升多扫描运动估计的鲁棒性与精度有何影响？
• RQ5 在非顺序、非密集扫描采集条件下（如真实世界场景），该方法表现如何？

主要发现

• MultiBodySync 在多样化的数据集上，于多体运动分割与运动估计任务中均大幅超越最先进方法。
• 在 SAPIEN 数据集上，该方法在整体类别上实现了 66.7% 的平均交并比（mIoU），显著优于先前方法如 PointNet++（47.5%）与 NPP（48.2%）。
• 在 DynLab 数据集上，该方法实现了 95% 分位数的 EPE3D 为 0.066，展现出在大姿态变化挑战条件下的鲁棒性。
• 消融实验表明，谱同步显著提升了性能，其中 'S, NW' 变体（带归一化的谱同步）表现最佳。
• 该方法能有效泛化到未见类别，首次在可动部件与物体级两种范式下实现了多扫描多体运动分割的跨类别泛化。
• 可视化结果表明，即使在包含多个运动物体与部分扫描的复杂场景中，该方法仍能实现鲁棒的分割与配准，包括来自 Waymo Open 与 DynLab 真实世界数据集的结果。