[论文解读] Point Cloud Completion by Skip-attention Network with Hierarchical Folding

Xin Wen, Tianyang Li+2 more|arXiv (Cornell University)|May 8, 2020

3D Shape Modeling and Analysis参考文献 43被引用 13

一句话总结

本文提出了一种新型端到端框架——跳跃注意力网络（SA-Net），用于3D点云补全。该方法利用跳跃注意力机制，从多分辨率下的不完整点云中选择性地保留局部结构细节，并结合一种保持结构的解码器，通过分层折叠逐步生成完整形状。SA-Net在ShapeNet和KITTI基准上实现了最先进性能，在补全精度和泛化能力方面优于先前方法。

ABSTRACT

Point cloud completion aims to infer the complete geometries for missing regions of 3D objects from incomplete ones. Previous methods usually predict the complete point cloud based on the global shape representation extracted from the incomplete input. However, the global representation often suffers from the information loss of structure details on local regions of incomplete point cloud. To address this problem, we propose Skip-Attention Network (SA-Net) for 3D point cloud completion. Our main contributions lie in the following two-folds. First, we propose a skip-attention mechanism to effectively exploit the local structure details of incomplete point clouds during the inference of missing parts. The skip-attention mechanism selectively conveys geometric information from the local regions of incomplete point clouds for the generation of complete ones at different resolutions, where the skip-attention reveals the completion process in an interpretable way. Second, in order to fully utilize the selected geometric information encoded by skip-attention mechanism at different resolutions, we propose a novel structure-preserving decoder with hierarchical folding for complete shape generation. The hierarchical folding preserves the structure of complete point cloud generated in upper layer by progressively detailing the local regions, using the skip-attentioned geometry at the same resolution. We conduct comprehensive experiments on ShapeNet and KITTI datasets, which demonstrate that the proposed SA-Net outperforms the state-of-the-art point cloud completion methods.

研究动机与目标

• 解决现有点云补全方法中全局表示导致的局部结构细节信息丢失问题。
• 在形状生成过程中，实现从不完整点云局部区域选择性且可解释的特征重用。
• 设计一种保持结构完整性的解码器，利用多分辨率特征逐步细化形状细节。
• 验证跳跃注意力与分层折叠在补全、分割及无监督分类任务中的有效性。

提出的方法

• 提出一种跳跃注意力机制，可选择性地关注编码器中的信息丰富局部区域，并将这些特征传递至对应分辨率下的解码器层。
• 设计一种保持结构的解码器，利用分层折叠技术，基于匹配分辨率下的跳跃注意力特征，逐步细化点云区域。
• 采用密度逐步增加的2D网格采样来引导分层折叠过程，实现结构化点云生成。
• 通过将补全头替换为分割头或SVM头，将网络适配至语义分割和无监督形状分类任务。
• 采用端到端训练范式：编码器提取特征，跳跃注意力引导特征流动，解码器重建完整点云。
• 将相同架构应用于下游任务，证明了所学习特征在补全、分割与分类任务间的可迁移性。

实验结果

研究问题

• RQ1 可学习的注意力机制能否从不完整点云中选择性地检索并重用局部结构细节，以提升补全性能？
• RQ2 结合结构保持的分层折叠如何提升生成点云的质量与一致性？
• RQ3 跳跃注意力机制能否在语义分割和无监督分类等相关3D视觉任务中提升性能？
• RQ4 所提出方法是否在标准基准上优于现有最先进方法？

主要发现

• SA-Net在ShapeNet和KITTI数据集上的点云补全任务中达到最先进性能，展现出卓越的重建精度。
• 跳跃注意力机制使语义分割中的平均每类部分IoU（mpIoU）相比PointNet++提升0.6%，尤其在重叠部分（如摩托车轮胎）的预测更加精确。
• 结构保持的解码器使无监督形状分类在ModelNet40上达到90.6%的准确率，与监督学习的PointNet++性能相当。
• 消融实验证实，跳跃注意力通过选择性地整合相关局部特征，减少了冗余，提升了泛化能力。
• 可视化结果表明，跳跃注意力明确突出了信息丰富的局部区域（如飞机的左翼），使补全过程更具可解释性。