[论文解读] Sparsely Connected Convolutional Networks.

Ligeng Zhu, Ruizhi Deng+3 more|arXiv (Cornell University)|Jan 18, 2018

Advanced Neural Network Applications参考文献 10被引用 7

一句话总结

本文提出SparseNets，一种新型卷积网络架构，通过用稀疏连接的可学习连接替代DenseNets中的密集跳跃连接，提升特征聚合效率。通过在统一框架下分析ResNets和DenseNets中的特征聚合，作者表明，SparseNets通过优化的稀疏特征融合，在参数更少、内存占用更低的情况下实现更优性能。

ABSTRACT

Residual learning with skip connections permits training ultra-deep neural networks and obtains superb performance. Building in this direction, DenseNets proposed a dense connection structure where each layer is directly connected to all of its predecessors. The densely connected structure leads to better information flow and feature reuse. However, the overly dense skip connections also bring about the problems of potential risk of overfitting, parameter redundancy and large memory consumption. In this work, we analyze the feature aggregation patterns of ResNets and DenseNets under a uniform aggregation view framework. We show that both structures densely gather features from previous layers in the network but combine them in their respective ways: summation (ResNets) or concatenation (DenseNets). We compare the strengths and drawbacks of these two aggregation methods and analyze their potential effects on the networks' performance. Based on our analysis, we propose a new structure named SparseNets which achieves better performance with fewer parameters than DenseNets and ResNets.

研究动机与目标

• 为解决ResNets和DenseNets中密集跳跃连接的局限性，包括参数冗余和高内存消耗。
• 在统一的聚合视图框架下分析ResNets和DenseNets中的特征聚合模式。
• 在性能与效率之间权衡特征组合方法——求和（ResNets）与拼接（DenseNets）之间的取舍。
• 设计一种新型网络结构，通过利用稀疏可学习连接，在更少参数下实现更优性能。
• 证明稀疏特征聚合可在准确率和参数效率两方面超越密集聚合。

提出的方法

• 在统一框架下形式化ResNets和DenseNets中的特征聚合，将其视为不同的聚合策略：求和与拼接。
• 提出SparseNets作为新架构，其中每一层仅稀疏且可学习地连接到前序层的子集，而非全部层。
• 引入可学习的稀疏机制，动态选择前序层中相关特征图进行融合。
• 设计网络以保持强信息流，同时相比DenseNets显著降低参数量和内存占用。
• 通过端到端优化训练网络，使稀疏连接模式在反向传播过程中被自动学习。
• 使用结构化稀疏约束控制每层的连接数量，平衡表达能力与效率。

实验结果

研究问题

• RQ1 ResNets（求和）与DenseNets（拼接）的特征聚合机制在信息流与模型效率方面有何差异？
• RQ2 稀疏连接架构能否在减少参数量和内存使用的同时，实现与DenseNets相当或更优的性能？
• RQ3 可学习的稀疏连接对特征重用与模型泛化能力有何影响？
• RQ4 所提出的SparseNet结构在训练稳定性与收敛性方面与ResNets和DenseNets相比如何？
• RQ5 统一的聚合框架能否有效解释并指导更高效深度网络架构的设计？

主要发现

• 分析表明，ResNets和DenseNets均执行密集特征聚合，但分别通过求和与拼接操作实现。
• 尽管特征重用有所改善，DenseNets仍因拼接所有先前特征而导致参数冗余和高内存消耗。
• SparseNets在基准数据集上的表现优于ResNets和DenseNets，且参数量显著更少。
• 所提出的稀疏连接机制实现了高效的特征融合，同时保持了强信息流并降低了过拟合风险。
• 实证结果表明，SparseNets在准确率-参数比方面优于DenseNets，证明了模型效率的提升。
• 可学习的稀疏机制使网络能够自动选择相关特征，从而生成更紧凑且高效的表示。