[论文解读] Sparsely Aggregated Convolutional Networks

Ligeng Zhu, Ruizhi Deng+4 more|arXiv (Cornell University)|Jan 18, 2018

Advanced Neural Network Applications参考文献 44被引用 6

一句话总结

本文提出SparseNet，一种新型卷积神经网络架构，采用稀疏聚合跳跃连接——仅选择性地连接到先前层的对数子集，而非所有先前层。通过将聚合复杂度从线性增长降低至对数增长，SparseNet在参数量和FLOPs更少的情况下，实现了优于ResNet和DenseNet的准确率，并且在1000+层的深度下仍能保持稳健的性能表现。

ABSTRACT

We explore a key architectural aspect of deep convolutional neural networks: the pattern of internal skip connections used to aggregate outputs of earlier layers for consumption by deeper layers. Such aggregation is critical to facilitate training of very deep networks in an end-to-end manner. This is a primary reason for the widespread adoption of residual networks, which aggregate outputs via cumulative summation. While subsequent works investigate alternative aggregation operations (e.g. concatenation), we focus on an orthogonal question: which outputs to aggregate at a particular point in the network. We propose a new internal connection structure which aggregates only a sparse set of previous outputs at any given depth. Our experiments demonstrate this simple design change offers superior performance with fewer parameters and lower computational requirements. Moreover, we show that sparse aggregation allows networks to scale more robustly to 1000+ layers, thereby opening future avenues for training long-running visual processes.

研究动机与目标

• 为解决现代CNN（如ResNet和DenseNet）中密集聚合带来的低效问题，这些网络通过连接所有先前层浪费了大量参数和计算资源。
• 探究在内部聚合中减少跳跃连接数量是否能在不损失性能的前提下提升模型效率。
• 设计一种可扩展且参数高效的架构，在保持或提升准确率的同时，支持极深网络（如1000+层）的训练。
• 证明聚合拓扑结构是架构设计中的一个根本性选择，独立于ResNet与DenseNet之间的其他设计差异。

提出的方法

• 用稀疏聚合拓扑替代DenseNet和ResNet中的全连接聚合，使每一层仅连接到先前层的一个对数规模子集。
• 采用分层的树状结构，选择哪些先前层的特征将贡献给后续层，确保长距离特征的重用。
• 对输入连接数量应用对数缩放规则，使参数量和FLOPs的增长从O(n)降低至O(log n)，随网络深度n的增长而减缓。
• 使用标准优化方法（SGD配合权重衰减）训练模型，除聚合模式外无需其他架构修改。
• 在CIFAR-10/100和ImageNet基准上进行消融实验，对比参数效率、FLOPs与准确率。
• 通过热力图可视化学习到的连接权重，分析特征重用模式，并确认SparseNet中参数利用率极高。

实验结果

研究问题

• RQ1 在内部聚合中减少跳跃连接数量是否能在不降低性能的前提下提升模型效率？
• RQ2 对数规模的聚合复杂度是否能带来在极深网络（如1000+层）中的更好可扩展性？
• RQ3 在特征重用与参数效率方面，稀疏聚合相较于全连接聚合有何差异？
• RQ4 稀疏聚合模式是否不仅适用于DenseNet类架构，也适用于ResNet类架构？

主要发现

• SparseNet在CIFAR-10和ImageNet上实现了SOTA准确率，且参数量和FLOPs显著少于ResNet和DenseNet。
• 较小的SparseNet模型在准确率上与性能最高的DenseNet相当，但参数量和FLOPs减少了30-50%。
• SparseNet可稳健扩展至1000+层，性能保持稳定，而DenseNet在如此深度下性能趋于平台期甚至下降。
• 热力图分析表明，SparseNet几乎完全有效利用了其参数，大多数连接均被强烈激活，表明冗余极少。
• 稀疏聚合模式实现了更优的长距离特征利用，表现为即使在相距较远的层之间，也存在持续高权重的连接。
• 修复TensorFlow实现中的一个微小错误后，发现SparseNet相比DenseNet的效率优势显著，且并非源于意外的正则化效应。