[论文解读] Why Random Pruning Is All We Need to Start Sparse

Advait Gadhikar, Sohum Mukherjee+1 more|arXiv (Cornell University)|Oct 5, 2022

Music and Audio Processing被引用 4

一句话总结

该论文表明，随机剪枝的神经网络——特别是随机掩码（ER）网络——可作为训练稀疏模型的有效且计算高效的起点，其性能可与稠密网络及当前最先进彩票剪枝方法相媲美。理论上，论文证明了在反稀疏度的对数因子范围内更宽的随机网络可近似任意目标网络，从而实现‘稀疏到稀疏’训练，避免稠密初始化并降低计算成本。

ABSTRACT

Random masks define surprisingly effective sparse neural network models, as has been shown empirically. The resulting sparse networks can often compete with dense architectures and state-of-the-art lottery ticket pruning algorithms, even though they do not rely on computationally expensive prune-train iterations and can be drawn initially without significant computational overhead. We offer a theoretical explanation of how random masks can approximate arbitrary target networks if they are wider by a logarithmic factor in the inverse sparsity $1 / \log(1/ ext{sparsity})$. This overparameterization factor is necessary at least for 3-layer random networks, which elucidates the observed degrading performance of random networks at higher sparsity. At moderate to high sparsity levels, however, our results imply that sparser networks are contained within random source networks so that any dense-to-sparse training scheme can be turned into a computationally more efficient sparse-to-sparse one by constraining the search to a fixed random mask. We demonstrate the feasibility of this approach in experiments for different pruning methods and propose particularly effective choices of initial layer-wise sparsity ratios of the random source network. As a special case, we show theoretically and experimentally that random source networks also contain strong lottery tickets.

研究动机与目标

• 解释为何在初始化时进行随机剪枝在实践中表现出人意料的良好性能，尽管缺乏迭代剪枝或微调。
• 为在受控过度参数化条件下，随机稀疏网络的通用近似能力提供理论基础。
• 证明从随机剪枝网络开始的‘稀疏到稀疏’训练可达到或超过稠密到稀疏训练的性能。
• 表明强彩票剪枝（SLTs）可直接在稀疏随机源网络中找到，从而降低搜索成本。
• 提出适用于随机源网络的最优逐层稀疏度比率，以提升效率与性能。

提出的方法

• 理论分析证明，若其宽度超过目标网络一个 O(1/log(1/sparsity)) 的因子，则随机三层网络可近似任意目标网络，从而确立必要的过度参数化条件。
• 推导出随机单隐藏层网络所需宽度的下限，表明对数级过度参数化对通用近似是必要的。
• 提出‘稀疏到稀疏’训练：使用固定随机稀疏掩码（ER）初始化，并应用如 IMP 或连续剪枝等剪枝算法。
• 引入初始随机网络的逐层稀疏度比率，以提升性能与效率，该方法在多种架构和数据集上得到验证。
• 在 ImageNet、GCNs、算法数据和表格数据上，通过迭代剪枝（IMP）等方法对方法进行实证评估。
• 证明强彩票剪枝（SLTs）存在于稀疏随机网络中，从而实现无需初始化的训练。

实验结果

研究问题

• RQ1 随机稀疏网络能否近似任意目标网络，且所需过度参数化程度如何？
• RQ2 为何在初始化时的随机剪枝在实践中优于更复杂的剪枝方案？
• RQ3 是否可能在不从稠密网络开始的情况下有效训练稀疏模型？
• RQ4 强彩票剪枝是否存在于稀疏随机源网络中，且能否高效找到？
• RQ5 为最大化性能与效率，初始随机网络的最优逐层稀疏度比率是什么？

主要发现

• 宽度超过目标网络 O(1/log(1/sparsity)) 因子的随机网络可近似任意目标网络，为随机剪枝的有效性提供了理论依据。
• 所需过度参数化对三层随机网络是必要的，解释了在极高稀疏度下性能下降的原因。
• 使用固定随机掩码的‘稀疏到稀疏’训练在 CIFAR-10、ImageNet 和 GCNs 上实现了与‘稠密到稀疏’训练相当或更优的性能。
• 在 ImageNet 上使用 ResNet-50 时，从 50% 稀疏的随机网络开始，仍可训练出 80% 稀疏的模型，准确率达到 71.73%，与稠密初始化相当。
• 在 GCN 实验中，从 40% 稀疏的初始网络开始，可得到 70% 稀疏的模型，准确率达 81.9%，仅略低于稠密初始化的 83.33%。
• 在算法数据和表格数据上，‘稀疏到稀疏’训练实现了与‘稠密到稀疏’训练相同的性能，证实了其在不同领域的鲁棒性。