[论文解读] NeeDrop: Self-supervised Shape Representation from Sparse Point Clouds using Needle Dropping

Alexandre Boulch, Pierre-Alain Langlois+2 more|arXiv (Cornell University)|Nov 30, 2021

3D Shape Modeling and Analysis参考文献 65被引用 14

一句话总结

NeeDrop 提出了一种自监督方法，通过受布丰投针问题启发的投针损失，从稀疏点云中学习3D形状表征。通过在稀疏点云上随机采样针状线段，并利用统计表面穿越概率，该方法在合成数据上实现了与监督方法相当的重建质量，在真实世界KITTI激光雷达数据上也取得了令人满意的结果，且无需任何形状监督或密集点云。

ABSTRACT

There has been recently a growing interest for implicit shape representations. Contrary to explicit representations, they have no resolution limitations and they easily deal with a wide variety of surface topologies. To learn these implicit representations, current approaches rely on a certain level of shape supervision (e.g., inside/outside information or distance-to-shape knowledge), or at least require a dense point cloud (to approximate well enough the distance-to-shape). In contrast, we introduce NeeDrop, a self-supervised method for learning shape representations from possibly extremely sparse point clouds. Like in Buffon's needle problem, we "drop" (sample) needles on the point cloud and consider that, statistically, close to the surface, the needle end points lie on opposite sides of the surface. No shape knowledge is required and the point cloud can be highly sparse, e.g., as lidar point clouds acquired by vehicles. Previous self-supervised shape representation approaches fail to produce good-quality results on this kind of data. We obtain quantitative results on par with existing supervised approaches on shape reconstruction datasets and show promising qualitative results on hard autonomous driving datasets such as KITTI.

研究动机与目标

• 开发一种无需密集点云或形状监督的自监督3D形状重建方法。
• 实现在高度稀疏、噪声大且不完整的点云（如自动驾驶汽车激光雷达数据）上的鲁棒学习。
• 在训练过程中消除对网格监督或到表面距离信号的依赖。
• 生成可直接通过等值面提取（Marching Cubes）转换为网格的高质量隐式占用场。
• 在无真实形状监督的合成数据集和真实世界自动驾驶数据上验证该方法。

提出的方法

• 该方法提出一种新颖的自监督损失，基于投针机制：从输入点云的点中随机采样线段（针），模型预测针的端点是否位于形状表面的同一侧或相对两侧。
• 损失函数基于统计表面穿越概率推导，针对同一侧（标签1）和相对侧（标签0）预测分别设计不同项，使用Sigmoid和指数变换以提升数值稳定性。
• 网络架构采用基于PointNet的主干网络，将稀疏点云编码为潜在向量，随后通过多层感知机预测3D空间中查询点的占用值。
• 通过每组点云采样多个随机针，端点通过扰动输入点生成，模型被训练以根据占用场正确预测端点所在侧的标签。
• 由于PointNet编码器中使用了最大池化，该方法对点冗余具有不变性，可有效处理低密度和重复点而性能不下降。
• 训练期间通过沿车辆对称平面对点云进行镜像增强，以提升对部分视图的泛化能力。

Figure 1: Different kinds of supervision.

实验结果

研究问题

• RQ1 自监督方法能否在无任何形状监督的情况下，从极度稀疏的点云中学习到高质量的3D形状表征？
• RQ2 投针损失是否能在输入点云稀疏或不完整时仍有效捕捉表面几何特征？
• RQ3 该方法能否泛化到真实世界自动驾驶数据集（如KITTI），其中点云稀疏且不完整？
• RQ4 在标准3D形状重建基准上，自监督的NeeDrop方法与监督基线相比性能如何？
• RQ5 尽管后者更贴近真实场景，但使用完整形状进行训练是否比使用部分视图能获得更好的泛化能力？

主要发现

• 尽管未使用任何形状监督，NeeDrop在ShapeNet和D-Shape数据集上的定量重建性能与监督方法相当。
• 在KITTI数据集上，该方法生成了合理且一致的3D重建结果，该数据集包含来自自动驾驶汽车的稀疏、部分且带噪声的激光雷达点云。
• 在完整形状上训练的模型比在部分视图上训练的模型泛化能力更强，表明完整的几何上下文有助于潜在空间学习。
• 该方法能有效处理高度稀疏的输入（如真实激光雷达传感器获取的数据），而现有方法因依赖密集点云进行距离监督而在此类场景下失效。
• 训练期间使用对称性增强可提升对部分点云的重建质量，尤其对汽车等对称物体效果显著。
• NeeDrop损失对稀疏和噪声输入具有鲁棒性，其在合成数据和真实世界数据分布上均表现出一致的性能。

Figure 2: Needles as pairs of points.