[论文解读] Sparse Neural Networks Topologies

Alfred Bourely, John Patrick Boueri+1 more|arXiv (Cornell University)|Jun 18, 2017

Neural Networks and Applications参考文献 11被引用 8

一句话总结

本文提出基于随机或结构化二分图拓扑的稀疏神经网络（SNN）架构，以实现模型压缩和更快的推理速度，同时不损失准确性。通过在训练前显式定义稀疏连接——特别是使用斐波那契或正则图等结构化拓扑——表明SNN在准确率上可匹配或超越全连接网络，尤其当拓扑表现出类似扩展图的特性（如高代数连通性和谱隙）时。

ABSTRACT

We propose Sparse Neural Network architectures that are based on random or structured bipartite graph topologies. Sparse architectures provide compression of the models learned and speed-ups of computations, they can also surpass their unstructured or fully connected counterparts. As we show, even more compact topologies of the so-called SNN (Sparse Neural Network) can be achieved with the use of structured graphs of connections between consecutive layers of neurons. In this paper, we investigate how the accuracy and training speed of the models depend on the topology and sparsity of the neural network. Previous approaches using sparcity are all based on fully connected neural network models and create sparcity during training phase, instead we explicitly define a sparse architectures of connections before the training. Building compact neural network models is coherent with empirical observations showing that there is much redundancy in learned neural network models. We show experimentally that the accuracy of the models learned with neural networks depends on expander-like properties of the underlying topologies such as the spectral gap and algebraic connectivity rather than the density of the graphs of connections.

研究动机与目标

• 研究神经网络拓扑结构与稀疏性对模型准确率和训练速度的影响。
• 设计紧凑且高度可压缩的SNN架构，采用结构化图拓扑而非在训练过程中对全连接网络进行剪枝。
• 识别与SNN性能相关的图论特性，如代数连通性和谱隙。
• 评估SNN在使用Dropout等正则化技术或更深网络架构下的鲁棒性。
• 理解稀疏性、权重分布与稀疏拓扑中模型泛化能力之间的关系。

提出的方法

• 使用无权 $ n \times m $ 矩阵定义连续层之间的二分图邻接矩阵，其中若存在连接则 $ \text{Adj}[i][j] = 1 $。
• 采用正则（均匀度）和斐波那契（伪正则且伪随机）等结构化拓扑，构建稀疏且可压缩的连接模式。
• 将邻接矩阵逐元素应用于每层的权重矩阵，从训练开始即强制实现稀疏性。
• 以拉普拉斯矩阵的谱隙和代数连通性作为关键图属性，衡量性能表现。
• 使用固定拓扑训练SNN，并在多个数据集和设置下与全连接基线模型对比准确率和训练速度。
• 通过使用Dropout（0.2和0.5）以及更深的网络结构（如784-500-300-10）评估鲁棒性，以检验正则化和深度对泛化能力的影响。

实验结果

研究问题

• RQ1 稀疏拓扑的选择（随机 vs. 结构化）如何影响SNN的准确率和训练速度？
• RQ2 如斐波那契或正则图等结构化稀疏拓扑是否能在减少模型大小的同时，实现优于全连接网络的准确率？
• RQ3 哪些图论特性（如谱隙或代数连通性）可预测高性能的SNN架构？
• RQ4 SNN在使用Dropout等防止过拟合技术或在更深网络设置下的表现如何？
• RQ5 稀疏性如何影响SNN中学习权重的分布与大小？

主要发现

• 采用结构化拓扑的SNN，特别是斐波那契图和正则图，在相当或更低的稀疏度下，准确率高于全连接网络。
• 在极低连接度（低于10%）的稀疏环境下，斐波那契SNN表现最优，其伪随机与伪正则结构使其能保持高准确率。
• 底层图拓扑的代数连通性和谱隙与模型准确率强相关，表明类似扩展图的特性可增强泛化能力。
• 即使仅保留30%的连接，采用斐波那契或正则拓扑的SNN在相同训练轮次后，准确率仍比其全连接对应模型高出0.15%。
• 使用Dropout（0.2和0.5）并未削弱结构化SNN的性能优势，证实其对过拟合具有鲁棒性。
• 随着稀疏度增加，学习权重的最大值、最小值和标准差均下降，表明剩余权重变得更加关键且被更充分地利用。