[论文解读] SWNet: Small-World Neural Networks and Rapid Convergence

Mojan Javaheripi, Bita Darvish Rouhani+1 more|arXiv (Cornell University)|Apr 9, 2019

Neural Networks and Applications参考文献 28被引用 8

一句话总结

本文提出SWNet，一种新颖的深度学习架构，通过将标准前馈网络转换为小世界拓扑结构，以加速训练收敛。通过战略性地添加受小世界网络理论启发的稀疏长程跳跃连接，SWNet在不损失准确率的前提下，相比基线模型将收敛速度提升至多2.1倍，且与DenseNets相比参数量减少高达10倍。

ABSTRACT

Training large and highly accurate deep learning (DL) models is computationally costly. This cost is in great part due to the excessive number of trained parameters, which are well-known to be redundant and compressible for the execution phase. This paper proposes a novel transformation which changes the topology of the DL architecture such that it reaches an optimal cross-layer connectivity. This transformation leverages our important observation that for a set level of accuracy, convergence is fastest when network topology reaches the boundary of a Small-World Network. Small-world graphs are known to possess a specific connectivity structure that enables enhanced signal propagation among nodes. Our small-world models, called SWNets, provide several intriguing benefits: they facilitate data (gradient) flow within the network, enable feature-map reuse by adding long-range connections and accommodate various network architectures/datasets. Compared to densely connected networks (e.g., DenseNets), SWNets require a substantially fewer number of training parameters while maintaining a similar level of classification accuracy. We evaluate our networks on various DL model architectures and image classification datasets, namely, CIFAR10, CIFAR100, and ILSVRC (ImageNet). Our experiments demonstrate an average of ~2.1x improvement in convergence speed to the desired accuracy

研究动机与目标

• 为解决由于冗余且高度参数化的架构导致的深度学习模型训练计算成本过高的问题。
• 通过重构网络拓扑，在不牺牲模型准确率的前提下提升训练收敛速度。
• 利用图论原理——特别是小世界网络特性——优化卷积神经网络中的层间连接。
• 在保持或提升特征传播与梯度流动性能的同时，减少参数冗余。
• 开发一种与数据无关的、无需微调的预训练架构转换方法，通过稀疏长程连接增强信号传播。

提出的方法

• 将深度神经网络重新表述为图结构，并应用定制化的重布线算法以强制实现小世界网络拓扑。
• 使用定量的小世界性度量来指导层间连接的重构，平衡规则性与随机性。
• 在非相邻层之间引入稀疏的非局部卷积连接（S-CONV），以实现长程信息流动。
• 在训练前重构网络，确保该方法独立于梯度、损失函数或训练数据。
• 采用一种拓扑转换方法，在保留标准卷积层的同时，添加经过优化的稀疏跳跃连接。
• 将该转换应用于多种架构（ResNet、DenseNet、AlexNet）和数据集（CIFAR10、CIFAR100、ImageNet），无需重新训练架构。

实验结果

研究问题

• RQ1 将深度神经网络的连接模式重构为小世界拓扑结构，是否能显著提升训练收敛速度？
• RQ2 与标准或密集连接架构相比，神经网络拓扑中的小世界特性是否能增强梯度与特征图的流动？
• RQ3 SWNet与DenseNet和ResNet相比，在保持或提升分类准确率的前提下，能在多大程度上减少可训练参数数量？
• RQ4 SWNet中的长程连接在训练过程中如何影响学习到的权重分布与层间依赖关系？
• RQ5 所提出的拓扑转换方法是否可普遍应用于不同网络架构和数据集，而不会导致性能下降？

主要发现

• 在CIFAR10、CIFAR100和ImageNet上，SWNet相比基线前馈网络实现了平均2.1倍的更快收敛速度。
• 在ImageNet上，SWNet的ResNet-18等效模型在7,168次迭代时达到31.72%的测试误差，而基线模型需9,344次迭代，此时实现了1.31倍的速度提升。
• 在3,456次迭代时，SWNet的测试误差为56.76%，而基线ResNet-18为56.94%，表明其收敛速度更快。
• SWNet在使用10倍少的参数情况下，性能与DenseNet相当，展现出显著的参数效率。
• 训练权重的可视化结果证实了浅层与深层之间存在强烈的层间依赖关系，验证了长程连接的重要性。
• 输入层与所有深层之间保持强而分布式的连接，表明早期特征被有效传播至后续阶段。