[论文解读] Spatially-sparse convolutional neural networks

Benjamin Graham|arXiv (Cornell University)|Sep 22, 2014

Advanced Neural Network Applications参考文献 12被引用 197

一句话总结

本文提出了一种空间稀疏卷积神经网络（CNN），通过利用输入中的稀疏性（例如在线手写中的单像素宽笔画或填充图像），显著加速深度CNN的训练与推理。通过利用稀疏计算，该方法实现了更深层次架构的高效训练，取得了当前最优的结果：在CASIA-OLHWDB1.1数据集上测试误差为3.82%，在CIFAR-10上为6.28%，优于以往方法，且计算成本相当或更低。

ABSTRACT

Convolutional neural networks (CNNs) perform well on problems such as handwriting recognition and image classification. However, the performance of the networks is often limited by budget and time constraints, particularly when trying to train deep networks. Motivated by the problem of online handwriting recognition, we developed a CNN for processing spatially-sparse inputs; a character drawn with a one-pixel wide pen on a high resolution grid looks like a sparse matrix. Taking advantage of the sparsity allowed us more efficiently to train and test large, deep CNNs. On the CASIA-OLHWDB1.1 dataset containing 3755 character classes we get a test error of 3.82%. Although pictures are not sparse, they can be thought of as sparse by adding padding. Applying a deep convolutional network using sparsity has resulted in a substantial reduction in test error on the CIFAR small picture datasets: 6.28% on CIFAR-10 and 24.30% for CIFAR-100.

研究动机与目标

• 为解决在高分辨率或稀疏输入（如在线手写数据）上训练深度CNN时的计算低效问题。
• 通过利用稀疏性减少训练与推理时间，使更深、更准确的CNN架构得以应用。
• 通过结合稀疏性与数据增强及更深网络设计，提升图像识别任务的性能。
• 探索通过添加填充将稀疏CNN应用于非稀疏图像的可行性，同时保持稀疏性优势。

提出的方法

• 该方法使用一种新型深度CNN家族——DeepCNet(ℓ,k)，其包含交替的3×3与2×2最大池化层，旨在通过早期层保持空间稀疏性。
• 通过稀疏张量运算利用稀疏性，跳过零值计算，显著降低FLOPs与内存使用量。
• 输入以稀疏二值网格表示（例如在高分辨率画布上的单像素笔画），即使在大输入尺寸下也能实现高效处理。
• 该框架支持通过仿射变换与填充实现数据增强，同时在整个网络中保持稀疏性。
• 对网络进行改进的版本DeepCNiN，集成了网络内网络（Network-in-Network）层，以提升特征学习能力，同时保持稀疏性。
• 通过将非稀疏图像视为稀疏输入（通过填充处理），该方法可推广至非稀疏图像，实现高效的全模式卷积。

实验结果

研究问题

• RQ1 能否利用输入数据中的稀疏性，高效地训练更深、更准确的CNN？
• RQ2 稀疏性如何影响深度CNN在在线手写识别任务中的性能与训练速度？
• RQ3 稀疏CNN能否在CIFAR-10与CIFAR-100等标准图像基准上达到当前最优结果？
• RQ4 稀疏性是否能实现更灵活的数据增强策略（如平移与仿射变换），且不增加计算成本？
• RQ5 稀疏CNN能否扩展至更高维数据（如3D物体或时空轨迹）？

主要发现

• 在包含3755个字符类别的CASIA-OLHWDB1.1数据集上，使用DeepCNet(6,100)的方法实现了3.82%的测试误差，优于以往工作。
• 在ICDAR2013中文手写识别竞赛中，该方法实现了2.61%的测试误差，获得第一名，超过第二名（3.13%）。
• 在MNIST数据集上，DeepCNet(5,10)实现了0.58%的测试误差，而更深的DeepCNet(5,60)结合Dropout后实现0.31%的误差，展示了稀疏计算下的高精度。
• 在CIFAR-10上，该方法使用DeepCNiN(5,300)实现了6.28%的测试误差，优于基线结果，并较非稀疏基线降低了2.53%的误差。
• 在CIFAR-100上，该方法实现了24.30%的测试误差，显著优于基础DeepCNet的29.81%误差与非增强基线的35.68%误差。
• 该方法可在单张GPU上实现每秒3000个字符的实时推理，展示了在低功耗设备上的实际效率。