[论文解读] Sparse 3D convolutional neural networks

Ben Graham|arXiv (Cornell University)|May 12, 2015

Human Pose and Action Recognition参考文献 5被引用 13

一句话总结

本文提出了一种稀疏3D卷积神经网络（CNN），通过仅关注非零（活跃）空间位置，高效处理3D数据，利用在立方体或四面体晶格上的小型$2\times2\times2$滤波器。该方法在3D物体识别和人体动作识别任务上实现了最先进性能，与密集3D CNN相比计算成本显著降低，尤其在3D结路径或视频光流差分等稀疏输入上表现更优。

ABSTRACT

We have implemented a convolutional neural network designed for processing sparse three-dimensional input data. The world we live in is three dimensional so there are a large number of potential applications including 3D object recognition and analysis of space-time objects. In the quest for efficiency, we experiment with CNNs on the 2D triangular-lattice and 3D tetrahedral-lattice.

研究动机与目标

• 为解决密集3D CNN在处理大而大部分为空的3D网格时计算成本过高的问题，利用输入数据中的稀疏性。
• 设计仅在活跃（非零）输入点上运行的高效3D CNN架构，以降低内存和计算需求。
• 评估稀疏3D CNN在3D结路径、3D手写序列和视频光流等稀疏3D数据上的性能与效率。
• 比较立方体与四面体晶格结构在计算效率和准确率方面的差异。
• 展示稀疏3D CNN在3D物体识别、手写识别和人体动作识别等实际应用中的可行性与优势。

提出的方法

• 该方法使用仅对非零输入点计算激活值的稀疏3D卷积层，避免在空的空间位置上执行无谓操作。
• 在立方体和四面体晶格上均采用小型$2\times2\times2$卷积滤波器，相比更大滤波器，显著减少了参数量和计算量。
• 网络采用步长为2的池化操作（$\text{MP}3/2$），在某些情况下还采用基于傅里叶的池化（FMP），以在保持稀疏性的同时下采样。
• 架构由一系列卷积和池化层构成：$\text{C}k$ 表示使用$k$个滤波器的卷积，$\text{MP}3/2$ 表示核大小为3、步长为2的最大池化，$\text{FMP}$ 表示基于傅里叶的池化。
• 模型采用随机梯度下降配合权重衰减进行端到端训练，推理通过稀疏张量操作进行优化。
• 实现使用自定义的稀疏张量框架，支持在立方体和四面体网格上高效进行稀疏卷积和池化操作。

实验结果

研究问题

• RQ1 稀疏3D CNN是否能在显著降低计算成本的同时，实现与密集3D CNN相当甚至更高的准确率？
• RQ2 在稀疏输入上，晶格结构选择（立方体 vs. 四面体）如何影响3D CNN的效率与准确率？
• RQ3 稀疏3D CNN能否有效建模3D时空数据，如3D手写序列或视频光流差分？
• RQ4 在稀疏3D输入上，使用小型$2\times2\times2$滤波器与更大滤波器相比，在性能和计算效率方面有何差异？
• RQ5 输入数据中的稀疏性（如3D空间中的1D路径）在多大程度上能实现高效且准确的3D表征学习？

主要发现

• 在CASIA-OLHWDB1.1数据集上，稀疏3D CNN在3D手写识别任务中达到4.93%的测试误差，优于2D CNN的5.61%，且计算成本仅增加约118M MACs（对比72M MACs）。
• 在RHA数据集上，稀疏3D CNN达到88.0%的准确率，测试时仅需11亿次操作，显著优于基线模型的71.7%。
• 在更复杂的UCF101数据集上，模型在12次测试中达到67.8%的准确率，总操作量为27亿次，远超报告的基线43.90%，展现出在复杂视频动作识别任务中的强大性能。
• 基于四面体晶格的CNN在计算上比立方体晶格更高效（例如在尺度20时，分别为9M与36M次操作），尽管在小尺度下准确率略低。
• 基于傅里叶的池化（FMP）在小尺度下提供更高准确率，但计算成本更高，例如在尺度20时需116M次操作，而立方体晶格的$\text{MP}3/2$仅需36M次操作。
• 在小网络规模下，计算成本受I/O限制，表明四面体网络的实际加速效果可能低于理论复杂度预测，但在计算能力较弱的硬件上优势将更加明显。