[论文解读] OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds

Ziyang Song, Bo Yang|arXiv (Cornell University)|Oct 10, 2022

Advanced Vision and Imaging被引用 10

一句话总结

该论文提出 OGC，这是首个无需任何人工标注即可从单帧点云中实现无监督3D多目标分割的方法。它通过一种新颖的几何一致性损失，利用连续点云之间的刚性运动动力学作为自监督信号，实现了在五个数据集上的最先进性能，包括具有挑战性的户外场景。

ABSTRACT

In this paper, we study the problem of 3D object segmentation from raw point clouds. Unlike all existing methods which usually require a large amount of human annotations for full supervision, we propose the first unsupervised method, called OGC, to simultaneously identify multiple 3D objects in a single forward pass, without needing any type of human annotations. The key to our approach is to fully leverage the dynamic motion patterns over sequential point clouds as supervision signals to automatically discover rigid objects. Our method consists of three major components, 1) the object segmentation network to directly estimate multi-object masks from a single point cloud frame, 2) the auxiliary self-supervised scene flow estimator, and 3) our core object geometry consistency component. By carefully designing a series of loss functions, we effectively take into account the multi-object rigid consistency and the object shape invariance in both temporal and spatial scales. This allows our method to truly discover the object geometry even in the absence of annotations. We extensively evaluate our method on five datasets, demonstrating the superior performance for object part instance segmentation and general object segmentation in both indoor and the challenging outdoor scenarios.

研究动机与目标

• 为解决人工标注3D目标分割的高昂成本，消除对任何监督信号的依赖。
• 实现在单帧点云中同时分割多个3D目标，而非依赖顺序输入或运动聚类。
• 利用连续点云中固有的刚性运动模式作为自监督信号以实现目标发现。
• 设计一种几何一致性损失，以强制实现变换下的刚性运动一致性与形状不变性。
• 在不依赖标注数据的前提下，展示对室内和室外环境的泛化能力。

提出的方法

• 该方法使用分割网络从单帧点云中预测每个点的掩码。
• 通过辅助的自监督场景流估计器，预测两帧连续点云之间每个点的运动向量。
• 核心组件引入了三种损失：多目标动态刚性一致性损失、对象形状平滑性损失和刚性变换下的形状不变性损失。
• 刚性一致性损失确保每个预测的物体掩码能够通过刚性变换与帧间运动向量匹配。
• 形状平滑性损失对掩码进行正则化，使其在空间上保持连贯且不零散。
• 不变性损失确保在经过增强的刚性变换后，同一物体能被一致地分割，从而促进鲁棒的几何学习。

实验结果

研究问题

• RQ1 连续点云中的刚性运动动力学能否作为无监督3D多目标分割的可靠自监督信号？
• RQ2 能否通过利用时间动态特性，有效训练单帧分割网络而无需标注？
• RQ3 在缺乏监督的情况下，如何强制实现几何一致性与形状不变性以提升掩码质量？
• RQ4 该方法是否能在包含多样化物体类型与运动模式的室内和户外场景中实现泛化？
• RQ5 所提出的方法是否能在无监督3D分割任务中超越经典聚类与基于优化的基线方法？

主要发现

• OGC 在五个数据集上实现了最先进性能，包括 SAPIEN、OGC-DR、OGC-DRSV、KITTI-SF 和 KITTI-Det，且无需任何人工标注。
• 在 KITTI-SF 数据集上，OGC 达到 63.7% 的 mIoU 和 93.6% 的 RI，优于基于优化的基线方法与运动聚类方法。
• 消融实验表明，标准平滑性损失 $l_{smooth}$ 优于基于运动相似性的变体 $l_{smooth}^{ ext{prime}}$，表明对场景流噪声具有更强鲁棒性。
• 当在 10% 标注的 KITTI-Det 数据上作为预训练方法使用时，OGC 将 AP 提升至 71.5，但仍低于从零开始的全监督训练。
• 定性结果表明，静态车辆沿道路被成功分割，证明了形状不变性损失在推广至相似但静止物体方面的有效性。
• 由于依赖于刚性运动假设，该方法无法分割非刚性物体或发现未见过的物体类型。