[论文解读] N2NSkip: Learning Highly Sparse Networks using Neuron-to-Neuron Skip Connections

Arvind R. Subramaniam, Avinash Sharma|arXiv (Cornell University)|Aug 7, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出N2NSkip方法，通过在模型初始化阶段添加稀疏、可学习的神经元间跳跃连接，显著提升剪枝后的深度神经网络的连通性与性能，尤其在高稀疏度下表现优异。该方法在保持极低连通性损失的同时，优于标准剪枝和传统跳跃连接，其有效性通过基于热扩散的连通性分析得到验证。

ABSTRACT

The over-parametrized nature of Deep Neural Networks leads to considerable hindrances during deployment on low-end devices with time and space constraints. Network pruning strategies that sparsify DNNs using iterative prune-train schemes are often computationally expensive. As a result, techniques that prune at initialization, prior to training, have become increasingly popular. In this work, we propose neuron-to-neuron skip connections, which act as sparse weighted skip connections, to enhance the overall connectivity of pruned DNNs. Following a preliminary pruning step, N2NSkip connections are randomly added between individual neurons/channels of the pruned network, while maintaining the overall sparsity of the network. We demonstrate that introducing N2NSkip connections in pruned networks enables significantly superior performance, especially at high sparsity levels, as compared to pruned networks without N2NSkip connections. Additionally, we present a heat diffusion-based connectivity analysis to quantitatively determine the connectivity of the pruned network with respect to the reference network. We evaluate the efficacy of our approach on two different preliminary pruning methods which prune at initialization, and consistently obtain superior performance by exploiting the enhanced connectivity resulting from N2NSkip connections.

研究动机与目标

• 为解决在初始化阶段剪枝的深度神经网络中因稀疏连接导致的收敛性差与连通性低的问题，这些网络常因连接稀疏而性能下降。
• 通过在非连续神经元之间引入稀疏、可学习的跳跃连接，在不增加模型密度的前提下提升剪枝网络的有效连通性。
• 基于加权无向图上的热扩散，提出一种网络连通性的量化度量方法，用于比较剪枝网络与参考网络的连通性。
• 验证N2NSkip在不同剪枝方法（如随机剪枝、连接敏感性剪枝）和不同网络架构（如VGG19、ResNet50）下的泛化性与鲁棒性。

提出的方法

• N2NSkip在剪枝后的网络中，于单个神经元或通道之间引入稀疏、可学习的跳跃连接，同时保持模型整体的稀疏性。
• 这些连接在初始剪枝步骤（采用随机剪枝或连接敏感性剪枝）之后添加，并与网络其余部分端到端联合训练。
• 该方法将剪枝后的网络建模为加权无向图，其中边权重对应于学习到的跳跃连接参数。
• 连通性通过热扩散进行量化：从图的邻接矩阵计算出饱和热分布向量，其与参考网络签名的差值的Frobenius范数用于衡量连通性损失。
• 使用热扩散签名差值的Frobenius范数作为指标，比较剪枝网络在有无N2NSkip情况下的连通性。
• N2NSkip连接通过稀疏卷积层实现，支持高效计算与参数共享，同时保持稀疏性。

实验结果

研究问题

• RQ1 在初始化阶段引入稀疏、可学习的跳跃连接，是否能改善高度剪枝的深度神经网络的收敛性与性能？
• RQ2 通过热扩散测量的剪枝网络连通性与完整参考网络相比如何？N2NSkip能否最小化这一差距？
• RQ3 N2NSkip是否在不同预剪枝方法（如随机剪枝与连接敏感性剪枝）和网络架构上具有泛化能力？
• RQ4 在高稀疏度下，N2NSkip与传统跳跃连接（如ResNet风格）相比，在测试准确率与连通性方面表现如何？
• RQ5 基于热扩散的连通性分析能否作为预测剪枝模型性能的可靠代理？

主要发现

• 在CIFAR-10和CIFAR-100上，N2NSkip-CSP与N2NSkip-RP在20%参数密度下，测试准确率相比基线CSP与RP最高提升2.1%，且在高稀疏度下增益最大。
• 在ImageNet上使用ResNet50，N2NSkip-CSP在50%参数密度下达到74.59%的top-1准确率，优于基线ResNet50（74.70%）与N2NSkip-RP变体（74.12%）在相同稀疏度下的表现。
• 在ImageNet上20%参数密度下，N2NSkip-CSP达到72.09%准确率，显著优于基线CSP（68.67%）与N2NSkip-RP（70.03%）。
• N2NSkip变体在剪枝网络与参考网络之间热扩散签名差值的Frobenius范数最小，表明其具有更优的连通性保持能力。
• 在VGG19上，N2NSkip-RP在20倍压缩下，将连通性偏差（Frobenius范数）从3.6×10⁻³降低至2.8×10⁻⁶，展现出极强的连通性保持能力。
• 在CIFAR-10与CIFAR-100上，N2NSkip在所有压缩率下均显著低于ResNet风格跳跃连接（ResSkip）的测试误差，尤其在20倍与50倍压缩下优势明显。