[论文解读] PointWise: An Unsupervised Point-wise Feature Learning Network

Matan Shoef, Sharon Fogel+1 more|arXiv (Cornell University)|Jan 14, 2019

3D Shape Modeling and Analysis参考文献 12被引用 13

一句话总结

PointWise 提出了一种无监督深度学习框架，无需任何标注即可从原始 3D 点云中学习语义上合理的逐点特征。通过利用局部块重建的自监督机制以及强制实现空间平滑性的三元组损失，该方法生成了丰富且描述性强的嵌入表示，从而支持无监督部件分割、语义类比以及跨模型的点对应关系。

ABSTRACT

We present a novel approach to learning a point-wise, meaningful embedding for point-clouds in an unsupervised manner, through the use of neural-networks. The domain of point-cloud processing via neural-networks is rapidly evolving, with novel architectures and applications frequently emerging. Within this field of research, the availability and plethora of unlabeled point-clouds as well as their possible applications make finding ways of characterizing this type of data appealing. Though significant advancement was achieved in the realm of unsupervised learning, its adaptation to the point-cloud representation is not trivial. Previous research focuses on the embedding of entire point-clouds representing an object in a meaningful manner. We present a deep learning framework to learn point-wise description from a set of shapes without supervision. Our approach leverages self-supervision to define a relevant loss function to learn rich per-point features. We train a neural-network with objectives based on context derived directly from the raw data, with no added annotation. We use local structures of point-clouds to incorporate geometric information into each point's latent representation. In addition to using local geometric information, we encourage adjacent points to have similar representations and vice-versa, creating a smoother, more descriptive representation. We demonstrate the ability of our method to capture meaningful point-wise features through three applications. By clustering the learned embedding space, we perform unsupervised part-segmentation on point clouds. By calculating euclidean distance in the latent space we derive semantic point-analogies. Finally, by retrieving nearest-neighbors in our learned latent space we present meaningful point-correspondence within and among point-clouds.

研究动机与目标

• 在不依赖标注数据的前提下，学习 3D 点云中具有意义的逐点表示。
• 仅利用几何结构，解决在不规则、无序点云中进行无监督特征学习的挑战。
• 设计一种自监督训练目标，以捕捉潜在空间中的局部几何结构与空间平滑性。
• 在多个下游应用中展示所学习特征的语义实用性。

提出的方法

• 使用共享的多层感知机（MLP）从原始坐标中提取初始逐点特征，类似于 PointNet 的方法。
• 引入一种局部块重建损失，促使网络从其潜在特征向量中重建某一点的局部邻域。
• 应用基于 3D 空间邻近性的三元组损失：鼓励相近点具有相似的嵌入表示，而距离较远的点则具有不同的表示。
• 将重建损失与三元组损失相结合，仅利用原始点云的几何结构，以自监督方式联合训练网络。
• 采用解码器头，从学习到的特征中重建局部点块，从而实现形状补全与结构整合。
• 利用对称的最大池化和特征拼接操作，在学习局部结构的同时保留全局上下文信息。

实验结果

研究问题

• RQ1 深度神经网络是否能够在无任何监督或标注的情况下，从 3D 点云中学习到语义上有意义的逐点特征？
• RQ2 基于局部几何结构与空间平滑性的自监督目标，是否能够生成比原始坐标更丰富的表示？
• RQ3 所学习的潜在空间是否能够通过聚类实现无监督部件分割？
• RQ4 是否可以通过潜在空间中的向量运算发现语义类比关系？
• RQ5 在潜在空间中进行最近邻检索，是否能够识别出不同点云之间语义上相似的点？

主要发现

• 所学习的逐点特征能够捕捉语义属性，例如物体部件（如椅子中的扶手），如 3D PCA 可视化中的颜色编码所示。
• 对所学习潜在空间进行无监督聚类，可实现有意义的部件分割，其性能优于使用原始坐标的基线方法。
• 通过潜在空间中的向量运算，成功计算出语义点类比关系（如“扶手”到“腿”）。
• 在潜在空间中进行最近邻检索，能够识别出不同模型之间语义上相似的点，即使这些点在空间上相距较远。
• 该框架在不同物体类别间具有良好的泛化能力，并在同类别的点云之间保持了稳定的语义对应关系。
• 解码器模块支持形状补全与结构整合，证明了所学习的局部块重建能力具有实际应用价值。