[论文解读] Points2Vec: Unsupervised Object-level Feature Learning from Point Clouds

Joël Bachmann, Kenneth Blomqvist+2 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 2被引用 5

一句话总结

Points2Vec 提出了一种无监督方法，通过利用室内场景中的上下文关系，从3D点云中学习语义级别的物体特征表示。该模型采用基于PointNet的自编码器，并结合融入场景上下文的对比损失，学习低维且具有语义意义的嵌入表示，相较于基线自编码器，在聚类和重建任务上表现更优，在测试数据上实现了8%更低的Chamfer距离。

ABSTRACT

Unsupervised representation learning techniques, such as learning word embeddings, have had a significant impact on the field of natural language processing. Similar representation learning techniques have not yet become commonplace in the context of 3D vision. This, despite the fact that the physical 3D spaces have a similar semantic structure to bodies of text: words are surrounded by words that are semantically related, just like objects are surrounded by other objects that are similar in concept and usage. In this work, we exploit this structure in learning semantically meaningful low dimensional vector representations of objects. We learn these vector representations by mining a dataset of scanned 3D spaces using an unsupervised algorithm. We represent objects as point clouds, a flexible and general representation for 3D data, which we encode into a vector representation. We show that using our method to include context increases the ability of a clustering algorithm to distinguish different semantic classes from each other. Furthermore, we show that our algorithm produces continuous and meaningful object embeddings through interpolation experiments.

研究动机与目标

• 开发一种无监督方法，从点云中学习3D物体的语义、低维向量表示。
• 利用场景中周围物体的上下文信息，提升所学习特征的语义意义。
• 通过聚类性能和重建保真度评估所学习嵌入的质量。
• 证明上下文感知的特征学习可提升3D视觉任务中下游表示的质量。
• 建立一个与自然语言处理中的word2vec相当的、上下文感知的无监督3D表示学习基线。

提出的方法

• 该方法使用基于PointNet的编码器-解码器架构处理实例分割后的点云。
• 应用对比损失函数，促使语义相似的物体具有接近的嵌入表示，正样本对由场景中的上下文邻近性定义。
• 模型在Replica数据集上端到端训练，采用基于边距的对比损失和重建损失。
• 上下文模块整合邻近物体的特征，以增强目标物体的表示。
• 潜在码（256维）作为最终的物体嵌入，无需任何真实语义标签即可学习。
• 该架构包含共享权重的MLP、批量归一化和最大池化，以确保排列不变性。

实验结果

研究问题

• RQ1 3D场景中的上下文能否提升无监督点云嵌入的语义质量？
• RQ2 将场景上下文纳入处理是否能提升语义相似物体的聚类效果，相较于孤立点云处理？
• RQ3 所学习的嵌入能否支持物体实例之间的有意义插值？
• RQ4 与标准PointNet自编码器相比，上下文感知模型在重建和聚类方面的性能如何？
• RQ5 所学习的嵌入空间是否具有连续性和语义一致性，可通过插值和最近邻检索得到验证？

主要发现

• Points2Vec模型在测试集上实现了0.0946的平均Chamfer距离（ACD），相较于PointNet自编码器的0.103 ACD，性能提升了8%。
• 在所学习嵌入上进行无监督k-Means聚类，相比基线模型，语义类别间的分离效果更优。
• 物体嵌入之间的插值产生了合理的中间形状，证实了所学习向量空间的连续性和语义一致性。
• 在检索任务中，模型能正确检索出语义相似的物体（如椅子和桌子），即使它们在几何上不相似。
• 上下文感知的对比损失显著提升了特征质量，表现为聚类和重建性能优于基线自编码器。
• 该方法可泛化至未见过的场景，在测试集上保持一致的性能表现，表明其具备鲁棒性和泛化能力。