[论文解读] Topological Insights in Sparse Neural Networks.

Shiwei Liu, Tim van der Lee+6 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Graph Neural Networks被引用 2

一句话总结

本文提出了神经网络稀疏拓扑距离（NNSTD），一种基于图论的方法，用于度量和比较稀疏神经网络的拓扑结构。结果表明，自适应稀疏连接性揭示了大量表现优异、结构多样的子网络，其性能优于密集模型，并为找到‘彩票券’提供了比‘彩票券假说’所暗示的更稳健的路径。

ABSTRACT

Sparse neural networks are effective approaches to reduce the resource requirements for the deployment of deep neural networks. Recently, the concept of adaptive sparse connectivity, has emerged to allow training sparse neural networks from scratch by optimizing the sparse structure during training. However, comparing different sparse topologies and determining how sparse topologies evolve during training, especially for the situation in which the sparse structure optimization is involved, remain as challenging open questions. This comparison becomes increasingly complex as the number of possible topological comparisons increases exponentially with the size of networks. In this work, we introduce an approach to understand and compare sparse neural network topologies from the perspective of graph theory. We first propose Neural Network Sparse Topology Distance (NNSTD) to measure the distance between different sparse neural networks. Further, we demonstrate that sparse neural networks can outperform over-parameterized models in terms of performance, even without any further structure optimization. To the end, we also show that adaptive sparse connectivity can always unveil a plenitude of sparse sub-networks with very different topologies which outperform the dense model, by quantifying and comparing their topological evolutionary processes. The latter findings complement the Lottery Ticket Hypothesis by showing that there is a much more efficient and robust way to find winning tickets. Altogether, our results start enabling a better theoretical understanding of sparse neural networks, and demonstrate the utility of using graph theory to analyze them.

研究动机与目标

• 为解决在训练过程中，特别是采用自适应稀疏性时，比较和分析稀疏神经网络拓扑结构的挑战。
• 理解在结构优化参与下，稀疏拓扑结构在训练过程中的演化规律。
• 基于图论为稀疏神经网络提供理论基础，克服拓扑比较中指数级复杂度的难题。
• 证明稀疏网络在无需额外结构优化的情况下，可超越过参数化模型。
• 表明自适应稀疏连接性能够持续揭示大量表现优异、拓扑结构各异的子网络。

提出的方法

• 提出神经网络稀疏拓扑距离（NNSTD），一种基于图论的度量方法，用于量化稀疏神经网络之间的拓扑差异。
• 将稀疏神经网络建模为图结构，其中神经元为节点，非零权重为边，从而支持拓扑分析。
• 使用图相似性度量计算NNSTD，实现对稀疏架构的系统性比较。
• 采用自适应稀疏连接性训练方法，在学习过程中动态优化网络结构。
• 利用NNSTD分析稀疏子网络在整个训练过程中的拓扑演化，以追踪结构变化。
• 将稀疏子网络的性能与拓扑结构与密集模型及过参数化基线模型进行对比。

实验结果

研究问题

• RQ1 我们如何系统性地比较和度量稀疏神经网络架构之间的拓扑差异？
• RQ2 在无需额外结构优化的情况下，稀疏神经网络在多大程度上能超越密集模型或过参数化模型？
• RQ3 在使用自适应连接性时，稀疏拓扑结构在训练过程中如何演化？
• RQ4 通过自适应稀疏连接性发现的子网络在多样性和性能分布上如何？
• RQ5 基于图论的分析能否揭示一种比现有方法更稳健、更高效地识别‘彩票券’的方法？

主要发现

• NNSTD能有效量化稀疏神经网络之间的拓扑差异，实现系统性比较。
• 即使没有显式的结构优化，稀疏神经网络也能在性能上超越密集模型。
• 自适应稀疏连接性持续揭示出大量表现优异、拓扑结构高度多样的子网络。
• 这些发现的子网络优于原始密集模型，证明了存在大量稳健的‘彩票券’。
• 训练过程中稀疏网络的拓扑演化揭示了复杂且非均匀的结构变化，这些变化可通过NNSTD进行测量与分析。
• 结果表明，与仅依赖‘彩票券假说’相比，自适应稀疏性为寻找‘彩票券’提供了更高效、更可靠的路径。