[论文解读] PVRNet: Point-View Relation Neural Network for 3D Shape Recognition

Haoxuan You, Yifan Feng+4 more|arXiv (Cornell University)|Dec 2, 2018

3D Shape Modeling and Analysis参考文献 21被引用 4

一句话总结

PVRNet 是一种新颖的 3D 形状识别框架，通过可学习的点-视图关系得分融合点云与多视角特征，以提升特征表示能力。通过利用点-单视角和点-多视角关系，该方法在 ModelNet40 上实现了最先进性能，整体准确率最高提升 1%，并展现出对缺失数据的强鲁棒性。

ABSTRACT

Three-dimensional (3D) shape recognition has drawn much research attention in the field of computer vision. The advances of deep learning encourage various deep models for 3D feature representation. For point cloud and multi-view data, two popular 3D data modalities, different models are proposed with remarkable performance. However the relation between point cloud and views has been rarely investigated. In this paper, we introduce Point-View Relation Network (PVRNet), an effective network designed to well fuse the view features and the point cloud feature with a proposed relation score module. More specifically, based on the relation score module, the point-single-view fusion feature is first extracted by fusing the point cloud feature and each single view feature with point-singe-view relation, then the point-multi-view fusion feature is extracted by fusing the point cloud feature and the features of different number of views with point-multi-view relation. Finally, the point-single-view fusion feature and point-multi-view fusion feature are further combined together to achieve a unified representation for a 3D shape. Our proposed PVRNet has been evaluated on ModelNet40 dataset for 3D shape classification and retrieval. Experimental results indicate our model can achieve significant performance improvement compared with the state-of-the-art models.

研究动机与目标

• 解决现有深度学习模型中点云与多视角 3D 数据模态之间缺乏有效融合的问题。
• 建模单个视角与点云之间相关性的差异，以实现更具判别性的特征融合。
• 通过学习到的得分，利用单视角与多视角关系，提升 3D 形状识别与检索性能。
• 通过挖掘点云与视角之间的互补信息，提升对缺失数据的鲁棒性。

提出的方法

• 关系得分模块计算点云与每个单个视角之间的相关性，实现基于判别潜力的选择性融合。
• 点-单视角融合通过对应的关系得分将点云与每个视角结合，生成每个视角的融合特征。
• 点-多视角融合从关系得分排序最高的视角中构建视角集合（PVSets），并将这些视角与点云融合，形成统一表示。
• 最终的特征表示通过融合点-单视角与点-多视角融合特征获得，从而增强判别能力。
• 网络在 ModelNet40 上端到端训练，用于 3D 形状分类与检索，损失函数采用交叉熵与三元组损失。
• 消融实验与可视化验证了基于关系的融合机制的重要性以及得分模块的有效性。

实验结果

研究问题

• RQ1 建模点云与单个视角之间的关系是否能改善 3D 形状特征表示？
• RQ2 仅将最相关的视角与点云融合，是否比同等对待所有视角能获得更好性能？
• RQ3 所提出的基于关系的融合方法与晚期融合或多视角均匀融合相比，在 3D 形状识别中表现如何？
• RQ4 PVRNet 对缺失视角或点云数据的鲁棒性达到何种程度？

主要发现

• PVRNet 在 ModelNet40 上达到 93.61% 的整体准确率，相比最先进方法整体准确率最高提升 1%，类别平均准确率提升 0.8%。
• 随着更多相关视角被纳入，点-多视角融合性能从 92.84% 逐步提升至 93.61%，验证了基于关系选择的有效性。
• 仅使用 4 个视角时，PVRNet 准确率仍保持在 91% 以上，相比完整 12 视角输入仅下降 2.1%，而 MVCNN 和 GVCNN 分别下降 5.3% 和 2.3%。
• 当点云数据减少至 256 个点时，PVRNet 准确率仍维持在 ~80%，而 DGCNN 下降至 ~50%，表明其对缺失点具有强鲁棒性。
• 关系得分的可视化结果表明，得分较高的视角更具信息量，且与点云对齐更好，验证了得分模块捕捉有意义相关性的能力。
• 消融实验表明，点-单视角与点-多视角融合分支均对性能有显著贡献，证实了多层次关系建模的必要性。