[论文解读] SparseNet: A Sparse DenseNet for Image Classification

Wenqi Liu, Kun Zeng|arXiv (Cornell University)|Apr 15, 2018

Advanced Neural Network Applications参考文献 1被引用 26

一句话总结

本文提出 SparseNet，一种稀疏化的 DenseNet 变体，通过仅保留每层的最近和最远跳跃连接，将连接数从 O(L²) 减少到 O(L)，从而实现更深更宽的网络，同时提升参数和计算效率。SparseNet 在 CIFAR-10 和 SVHN 上达到最先进性能，优于 DenseNet，且模型大小缩小 2.6 倍，推理速度提升 3.7 倍。

ABSTRACT

Deep neural networks have made remarkable progresses on various computer vision tasks. Recent works have shown that depth, width and shortcut connections of networks are all vital to their performances. In this paper, we introduce a method to sparsify DenseNet which can reduce connections of a L-layer DenseNet from O(L^2) to O(L), and thus we can simultaneously increase depth, width and connections of neural networks in a more parameter-efficient and computation-efficient way. Moreover, an attention module is introduced to further boost our network's performance. We denote our network as SparseNet. We evaluate SparseNet on datasets of CIFAR(including CIFAR10 and CIFAR100) and SVHN. Experiments show that SparseNet can obtain improvements over the state-of-the-art on CIFAR10 and SVHN. Furthermore, while achieving comparable performances as DenseNet on these datasets, SparseNet is x2.6 smaller and x3.7 faster than the original DenseNet.

研究动机与目标

• 为解决 DenseNet 因 O(L²) 连接导致的高参数量和计算成本，其随深度呈二次方增长的问题。
• 探究在 DenseNet 中剪枝中间跳跃连接是否能在降低模型复杂度的同时保持或提升性能。
• 研究在稀疏化设置下，网络深度、宽度（增长速率）和路径长度（连接数）对性能的联合影响。
• 评估注意力机制在稀疏连接设置下提升性能的有效性。
• 相比 DenseNet 及其他最先进模型（如 ResNet 和 CondenseNet），实现更高的参数和计算效率。

提出的方法

• 通过仅保留每层的最远和最近连接来稀疏化 DenseNet，将总连接数从 O(L²) 降低至 O(L)。
• 引入分块稀疏连接模式，其中每层最多连接到前两层：最近和最远层，中间连接被剪枝。
• 采用结构化稀疏化策略：对于给定路径长度，保留最远和最近连接（例如路径=14 时为 7-7），避免随机剪枝。
• 引入可学习注意力模块，动态加权特征图，提升表征学习能力，同时显著控制参数量增加。
• 通过调整深度（28、52、76 层）、增长速率（k ∈ [6,26]）和路径长度（连接数），优化网络架构，保持总参数量接近 1M。
• 使用标准优化协议训练模型，学习率和权重衰减调度参考 DenseNet，以确保公平比较。

实验结果

研究问题

• RQ1 能否将 DenseNet 中跳跃连接数量从 O(L²) 减少至 O(L)，在降低模型大小和 FLOPs 的同时保持或提升性能？
• RQ2 在稀疏化 DenseNet 时，选择保留哪些连接的最优策略是什么——最远、最近，还是平衡组合？
• RQ3 深度、增长速率和路径长度如何共同影响稀疏网络的泛化能力和效率？
• RQ4 在稀疏连接设置下，集成注意力模块是否能进一步提升性能而不降低效率？
• RQ5 SparseNet 是否能在 CIFAR-10、CIFAR-100 和 SVHN 上实现最先进性能，同时相比 DenseNet 和其他 SOTA 模型显著提升效率？

主要发现

• SparseNet 在 CIFAR-10 上测试误差为 3.40%，优于最佳 DenseNet-BC 模型（3.46%），且参数量减少 2.6 倍。
• SparseNet 在推理速度上比最佳 DenseNet 模型快 3.7 倍，尽管准确率相近，但 FLOPs 显著降低。
• 7-7 稀疏化策略（保留 7 个最远和 7 个最近连接）在 CIFAR-10 上取得最低误差率，优于 10-4、4-10 和 0-14 变体。
• 最优模型深度位于 28 至 76 层之间，52 层模型表现最佳，表明极端深度或宽度单独作用并非最优。
• 注意力模块使 CIFAR-10 上性能提升 0.15%，而 SE 模块影响可忽略，表明在此设置下注意力比通道重校准更有效。
• SparseNet 在参数效率方面优于预激活 ResNet（10001 层）和 CondenseNet，误差更低且参数量减少 10 倍。