[论文解读] Point2Node: Correlation Learning of Dynamic-Node for Point Cloud Feature Modeling

Wenkai Han, Chenglu Wen+3 more|arXiv (Cornell University)|Dec 23, 2019

3D Shape Modeling and Analysis参考文献 33被引用 8

一句话总结

Point2Node 提出了一种基于图的端到端深度学习框架，通过动态建模 3D 点云节点之间的自相关、局部相关和非局部相关，以增强特征表示。通过集成数据感知的自适应特征聚合模块，它在多个基准测试中实现了最先进性能，且参数量增加极少，展现出卓越的特征判别能力和泛化能力。

ABSTRACT

Fully exploring correlation among points in point clouds is essential for their feature modeling. This paper presents a novel end-to-end graph model, named Point2Node, to represent a given point cloud. Point2Node can dynamically explore correlation among all graph nodes from different levels, and adaptively aggregate the learned features. Specifically, first, to fully explore the spatial correlation among points for enhanced feature description, in a high-dimensional node graph, we dynamically integrate the node's correlation with self, local, and non-local nodes. Second, to more effectively integrate learned features, we design a data-aware gate mechanism to self-adaptively aggregate features at the channel level. Extensive experiments on various point cloud benchmarks demonstrate that our method outperforms the state-of-the-art.

研究动机与目标

• 为解决现有点云模型在捕捉长程依赖关系以及充分挖掘无序 3D 点之间空间相关性方面的局限性。
• 通过在一个统一的图结构中动态建模多层级相关性（自相关、局部相关和非局部相关），以改善特征表示。
• 设计一种可学习的、数据感知的门控机制，以自适应地融合来自不同相关性层级的特征，从而增强判别能力。
• 在标准 3D 点云基准测试中实现最先进性能，同时保持极低的参数开销。

提出的方法

• 构建高维节点图以表示点云，从而实现对不同层级相关性的动态探索。
• 引入动态节点相关性模块，按顺序学习自相关性（通道内）、局部相关性（邻近点之间）和非局部相关性（具有长程依赖关系的远距离点之间）。
• 采用可学习的自适应特征聚合（AFA）模块，作为数据感知门控机制，自适应地对通道层级上来自不同相关性模块的特征进行加权融合。
• 使用共享的多层感知机（MLPs）进行特征提取，并在每个相关性学习步骤后应用特征精炼，以增强节点表示。
• 采用缩减率 $ r = 8 $ 以降低邻接矩阵计算的计算成本，并实现在各层之间的参数共享。
• 端到端训练整个模型，实现特征学习与相关性建模的联合优化。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效建模 3D 点云中的自相关、局部相关和非局部相关性，以改善特征表示？
• RQ2 基于数据驱动门控的自适应特征聚合相比固定或线性聚合，如何提升特征判别能力？
• RQ3 动态相关性学习在点云分类和语义分割任务中的性能提升程度如何？
• RQ4 所提出方法在具有不同输入复杂度和数据分布的多种点云基准测试中是否具备良好的泛化能力？

主要发现

• 在 S3DIS 数据集上，Point2Node 达到了 62.96% 的 mIoU，相比基线模型提升了 +11.04%，而模型大小仅增加了 1.46%。
• 在 ScanNet 数据集上，Point2Node 实现了 86.3% 的总体准确率（OA），超越了所有使用 $1k$ 个点且仅输入 $xyz$ 坐标的先前方法，并优于大多数引入额外输入的方法。
• 在 ModelNet40 上，Point2Node 在仅使用 $1k$ 个 $xyz$ 坐标输入的情况下达到了 93.0% 的 OA，是仅使用坐标信息的方法中性能最高的。
• 消融实验表明，自适应特征聚合模块对性能提升有显著贡献，优于线性聚合和无参数替代方案。
• 模型仅增加了 +1.46M 个参数，性能却保持强劲，展现出极高的效率和可扩展性。
• 非局部相关性学习的引入显著增强了特征表示，尤其在捕捉先前方法中缺失的长程依赖关系方面表现突出。