[论文解读] Topological Insights into Sparse Neural Networks

Shiwei Liu, Tim van der Lee+6 more|TU/e Research Portal|Jun 24, 2020

Advanced Graph Neural Networks参考文献 35被引用 4

一句话总结

本文提出神经网络稀疏拓扑距离（NNSTD），一种基于图论的度量方法，用于衡量稀疏神经网络之间的拓扑差异。通过将NNSTD应用于自适应稀疏连接性的分析，作者表明，许多结构上不同的稀疏子网络均可实现高性能——这一发现补充了彩票假说，表明自适应稀疏性可在无需预训练的情况下，发现大量高性能且拓扑多样的子网络。

ABSTRACT

Sparse neural networks are effective approaches to reduce the resource requirements for the deployment of deep neural networks. Recently, the concept of adaptive sparse connectivity, has emerged to allow training sparse neural networks from scratch by optimizing the sparse structure during training. However, comparing different sparse topologies and determining how sparse topologies evolve during training, especially for the situation in which the sparse structure optimization is involved, remain as challenging open questions. This comparison becomes increasingly complex as the number of possible topological comparisons increases exponentially with the size of networks. In this work, we introduce an approach to understand and compare sparse neural network topologies from the perspective of graph theory. We first propose Neural Network Sparse Topology Distance (NNSTD) to measure the distance between different sparse neural networks. Further, we demonstrate that sparse neural networks can outperform over-parameterized models in terms of performance, even without any further structure optimization. To the end, we also show that adaptive sparse connectivity can always unveil a plenitude of sparse sub-networks with very different topologies which outperform the dense model, by quantifying and comparing their topological evolutionary processes. The latter findings complement the Lottery Ticket Hypothesis by showing that there is a much more efficient and robust way to find "winning tickets". Altogether, our results start enabling a better theoretical understanding of sparse neural networks, and demonstrate the utility of using graph theory to analyze them.

研究动机与目标

• 为解决当前在比较稀疏神经网络拓扑结构方面缺乏理论理解的问题。
• 量化稀疏拓扑结构在训练过程中的演化，特别是在自适应稀疏连接性下的演化。
• 探究是否存在多种结构上不同的稀疏子网络可实现相似的性能。
• 确定自适应稀疏连接性是否在不同初始化下均能一致地发现高性能拓扑结构。
• 为基于图度量的稀疏神经网络理论分析提供基础。

提出的方法

• 提出NNSTD，一种受图编辑距离（GED）启发的新颖距离度量，经调整以处理神经图中可互换的隐藏神经元。
• 将稀疏神经网络建模为大型神经图，将权重连接视为边，神经元视为节点。
• 在NNSTD中引入节点排列不变性，以确保在神经元重排后仍能保持拓扑相似性。
• 将NNSTD应用于比较通过稀疏进化训练（SET）在多个随机种子和剪枝率下演化出的稀疏拓扑结构。
• 通过固定拓扑结构的微调实验，分离拓扑结构与权重优化对性能的贡献。
• 可视化训练过程中的拓扑演化路径，分析稀疏结构如何随时间自适应调整。

实验结果

研究问题

• RQ1 从结构角度看，高性能稀疏神经网络拓扑结构有多不同？
• RQ2 即使没有预训练，结构迥异的稀疏拓扑是否也能实现相似的性能？
• RQ3 自适应稀疏连接性在多大程度上能够发现多样化且高效的拓扑结构？
• RQ4 在自适应连接性下，稀疏网络的拓扑结构在训练过程中如何演化？
• RQ5 稀疏网络的性能是源于拓扑结构、权重优化，还是两者共同作用？

主要发现

• NNSTD能够有效度量稀疏神经网络之间的拓扑差异，从而实现对其结构多样性的定量比较。
• 大量结构上不同的稀疏子网络可实现与稠密模型相当甚至更优的测试准确率，证明了多种高性能拓扑结构的存在。
• 通过SET实现的自适应稀疏连接性，能够一致地发现大量拓扑各异但均优于稠密基线的子网络。
• 使用随机权重初始化的固定拓扑结构进行微调实验表明，性能随时间提升，表明拓扑结构的演化对成功至关重要。
• 权重优化与拓扑结构优化的结合是必不可少的——仅通过拓扑优化的随机初始化稀疏网络，其性能优于仅通过权重优化的网络。
• 结果表明，自适应稀疏连接性是一种稳健的方法，可在不依赖幸运初始化或预训练的情况下发现高性能子网络。