[论文解读] Sparse 3D Convolutional Neural Networks for Large-Scale Shape Retrieval.

Alexandr Notchenko, Ermek Kapushev+1 more|arXiv (Cornell University)|Nov 28, 2016

3D Shape Modeling and Analysis参考文献 9被引用 7

一句话总结

该论文提出 S3DCNN，一种稀疏 3D 卷积神经网络，在大规模 3D 形状检索的 ModelNet40 基准上实现了最先进性能，同时显著降低了训练和推理阶段的计算成本。结果表明，由于深层网络中特征泛化能力有限，更高的体素分辨率带来的收益递减。

ABSTRACT

In this paper we present preliminary results of performance evaluation of S3DCNN - a Sparse 3D Convolutional Neural Network - on a large-scale 3D Shape benchmark ModelNet40, and measure how it is impacted by voxel resolution of input shape. We demonstrate comparable classification and retrieval performance to state-of-the-art models, but with much less computational costs in training and inference phases. We also notice that benefits of higher input resolution can be limited by an ability of a neural network to generalize high level features.

研究动机与目标

• 评估 S3DCNN 在 ModelNet40 基准上进行大规模 3D 形状检索的性能。
• 研究体素分辨率对 3D CNN 中检索和分类准确率的影响。
• 在保持竞争力性能的同时，降低训练和推理阶段的计算成本。
• 分析深层网络在处理高分辨率 3D 体素输入时的泛化能力极限。

提出的方法

• S3DCNN 通过仅在非空体素上操作，利用稀疏 3D 卷积高效处理 3D 体素网格。
• 该网络采用分层特征学习架构，从稀疏 3D 形状中提取空间和结构特征。
• 通过应用稀疏卷积与稀疏张量运算，最大限度减少内存和计算开销。
• 在 ModelNet40 数据集上使用标准检索和分类指标进行模型训练与评估。
• 通过在不同分辨率下表示输入形状为体素网格，研究分辨率的影响。
• 框架利用针对稀疏张量运算优化的现代深度学习框架，实现高效推理。

实验结果

研究问题

• RQ1 与 ModelNet40 上的最先进模型相比，S3DCNN 在 3D 形状检索中的表现如何？
• RQ2 提高体素分辨率对检索准确率和计算成本有何影响？
• RQ3 稀疏 3D CNN 是否能在显著降低计算需求的前提下，实现与密集 3D CNN 相当的性能？
• RQ4 考虑到网络的泛化能力，高分辨率输入在多大程度上能提升性能？

主要发现

• S3DCNN 在 ModelNet40 基准上实现了与最先进模型相当的分类和检索性能。
• 与密集 3D CNN 相比，该模型在训练和推理阶段均显著降低了计算成本。
• 由于网络在高层次特征泛化能力上的局限，更高的体素分辨率带来的性能增益有限。
• 分辨率提升带来的收益受到模型学习和泛化复杂空间模式能力的制约。