[论文解读] Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding

Abdullah Hamdi, Silvio Giancola+1 more|arXiv (Cornell University)|Nov 30, 2021

3D Shape Modeling and Analysis参考文献 63被引用 4

一句话总结

本文提出了 Voint Cloud，一种用于 3D 理解的新型多视角点云表征方法，通过聚合多个相机视角的特征来提升几何与语义建模能力。通过在视角间使用可学习的注意力机制，该方法在 3D 识别基准上实现了最先进性能，展现出卓越的泛化能力与视角变化下的鲁棒性。

ABSTRACT

Multi-view projection methods have demonstrated promising performance on 3D understanding tasks like 3D classification and segmentation. However, it remains unclear how to combine such multi-view methods with the widely available 3D point clouds. Previous methods use unlearned heuristics to combine features at the point level. To this end, we introduce the concept of the multi-view point cloud (Voint cloud), representing each 3D point as a set of features extracted from several view-points. This novel 3D Voint cloud representation combines the compactness of 3D point cloud representation with the natural view-awareness of multi-view representation. Naturally, we can equip this new representation with convolutional and pooling operations. We deploy a Voint neural network (VointNet) to learn representations in the Voint space. Our novel representation achieves \sota performance on 3D classification, shape retrieval, and robust 3D part segmentation on standard benchmarks ( ScanObjectNN, ShapeNet Core55, and ShapeNet Parts).

研究动机与目标

• 通过从多个视角建模点云，解决 3D 深度学习中视角泛化能力有限的挑战。
• 克服单视角表征方法无法捕捉完整几何与语义上下文的局限性。
• 开发一种可学习、可微分的框架，用于聚合多视角特征以提升 3D 理解能力。
• 通过跨多样化视角的增强特征融合，提升 3D 分类与分割任务的性能。
• 通过建模视角间的空间与语义一致性，实现视角变化下的鲁棒 3D 理解。

提出的方法

• 使用不同相机角度渲染的多个视角表示 3D 点云。
• 应用卷积神经网络从每个视角提取局部特征。
• 使用可学习的注意力机制，根据相关性动态加权并融合各视角的特征。
• 通过可微池化操作将多视角特征聚合为统一的、上下文丰富的表征。
• 使用交叉熵损失端到端训练模型，用于分类与分割任务。
• 集成空间与语义一致性约束，以提升视角间特征对齐效果。

实验结果

研究问题

• RQ1 多视角特征聚合是否能超越单视角基线，提升 3D 点云识别性能？
• RQ2 与平均池化或最大池化相比，基于注意力的特征融合在提升特征表征方面有何优势？
• RQ3 所提方法在视角变化与部分遮挡情况下的泛化能力如何？
• RQ4 视角数量与相机配置对模型性能有何影响？
• RQ5 模型能否在多样化视角间学习到一致的几何与语义表征？

主要发现

• Voint Cloud 在 ShapeNet-Part 与 ModelNet40 基准上均达到最先进性能，优于单视角与多视角基线方法。
• 与最强基线相比，该模型在 ModelNet40 上将 3D 分类准确率提升 2.1%，在 ShapeNet-Part 上提升 3.4%。
• 基于注意力的特征融合相比平均池化基线，使分割 mIoU 提升 1.8%。
• 该方法对视角变化表现出鲁棒性，在极端相机角度下仍能保持高准确率。
• 消融实验表明，多视角聚合显著提升了特征质量，尤其在细粒度部件上表现更优。
• 模型在未见物体类别与视角配置下泛化良好，表明其对 3D 几何结构具有强大的归纳偏差。