[论文解读] Point2Sequence: Learning the Shape Representation of 3D Point Clouds with an Attention-based Sequence to Sequence Network

Xinhai Liu, Zhizhong Han+2 more|arXiv (Cornell University)|Nov 6, 2018

3D Shape Modeling and Analysis参考文献 24被引用 37

一句话总结

Point2Sequence 提出了一种基于注意力机制的序列到序列网络，通过建模点云中多尺度局部区域之间的细粒度相关性，学习3D形状表征。通过使用基于RNN的编码器-解码器架构并结合注意力机制来聚合跨尺度的特征，该方法在形状分类（ModelNet40上达到92.6%准确率）和部分分割（ShapeNet Part上达到85.2% mIoU）任务中取得了当前最优性能。

ABSTRACT

Exploring contextual information in the local region is important for shape understanding and analysis. Existing studies often employ hand-crafted or explicit ways to encode contextual information of local regions. However, it is hard to capture fine-grained contextual information in hand-crafted or explicit manners, such as the correlation between different areas in a local region, which limits the discriminative ability of learned features. To resolve this issue, we propose a novel deep learning model for 3D point clouds, named Point2Sequence, to learn 3D shape features by capturing fine-grained contextual information in a novel implicit way. Point2Sequence employs a novel sequence learning model for point clouds to capture the correlations by aggregating multi-scale areas of each local region with attention. Specifically, Point2Sequence first learns the feature of each area scale in a local region. Then, it captures the correlation between area scales in the process of aggregating all area scales using a recurrent neural network (RNN) based encoder-decoder structure, where an attention mechanism is proposed to highlight the importance of different area scales. Experimental results show that Point2Sequence achieves state-of-the-art performance in shape classification and segmentation tasks.

研究动机与目标

• 为解决现有方法在捕捉3D点云局部区域中细粒度上下文信息方面的局限性。
• 开发一种深度学习模型，隐式编码局部区域中不同尺度区域之间的相关性。
• 通过注意力机制在特征聚合过程中突出重要尺度区域，提升形状表征学习能力。
• 展示基于RNN的序列建模在3D点云理解任务中的有效性。

提出的方法

• 该方法将每个局部区域分解为多个多尺度区域，以捕捉分层的空间结构。
• 使用共享的多层感知机（MLP）独立提取每个尺度区域的特征。
• 基于RNN的编码器-解码器架构聚合所有尺度区域的特征，建模序列依赖关系。
• 注意力机制在特征聚合过程中动态加权不同尺度区域的重要性。
• 该模型将局部区域处理为序列，实现对尺度间相关性的隐式建模。
• 框架通过交叉熵损失在分类与分割任务中进行端到端训练。

实验结果

研究问题

• RQ1 基于注意力机制的序列到序列模型能否有效学习3D点云中多尺度局部区域之间的上下文相关性？
• RQ2 建模尺度间相关性如何提升点云表征学习中特征的判别能力？
• RQ3 基于RNN的架构能否有效应用于3D点云处理，以捕捉局部区域中的长距离依赖关系？
• RQ4 所提出的注意力机制与显式的拼接或池化策略相比，在特征聚合中表现如何？
• RQ5 为在性能与计算成本之间取得平衡，多尺度区域的最优数量（T）是多少？

主要发现

• 在ModelNet40上，Point2Sequence实现了92.6%的实例平均准确率，分别优于PointNet++和DGCNN 1.9%和0.2%。
• 在ShapeNet Part数据集上，Point2Sequence实现了85.2%的平均交并比（mIoU），超越了当前最优方法。
• 消融实验表明，使用T=2个多尺度区域的性能优于T=1，证实了多尺度聚合的优势。
• 在ModelNet40上，Point2Sequence的最优初始学习率为0.001，此时准确率最高。
• 注意力机制通过在特征聚合过程中突出最相关的尺度区域，显著提升了特征学习能力。
• 该模型在形状分类与部分分割任务中均展现出优越的泛化能力与判别能力。