[论文解读] Ten Lessons We Have Learned in the New "Sparseland": A Short Handbook for Sparse Neural Network Researchers

Shiwei Liu, Zhangyang Wang|arXiv (Cornell University)|Feb 6, 2023

Brain Tumor Detection and Classification被引用 6

一句话总结

本文为稀疏神经网络（SNN）研究者提供了一本简洁实用的手册，澄清了关于稀疏类型、训练范式和评估公平性的常见困惑。它整合了十个关键问答，涵盖密集与稀疏、剪枝与稀疏训练、静态与动态稀疏性等主题，提供了标准化指导，以提升SNN研究的可复现性并减少误解。

ABSTRACT

This article does not propose any novel algorithm or new hardware for sparsity. Instead, it aims to serve the "common good" for the increasingly prosperous Sparse Neural Network (SNN) research community. We attempt to summarize some most common confusions in SNNs, that one may come across in various scenarios such as paper review/rebuttal and talks - many drawn from the authors' own bittersweet experiences! We feel that doing so is meaningful and timely, since the focus of SNN research is notably shifting from traditional pruning to more diverse and profound forms of sparsity before, during, and after training. The intricate relationships between their scopes, assumptions, and approaches lead to misunderstandings, for non-experts or even experts in SNNs. In response, we summarize ten Q\&As of SNNs from many key aspects, including dense vs. sparse, unstructured sparse vs. structured sparse, pruning vs. sparse training, dense-to-sparse training vs. sparse-to-sparse training, static sparsity vs. dynamic sparsity, before-training/during-training vs. post-training sparsity, and many more. We strive to provide proper and generically applicable answers to clarify those confusions to the best extent possible. We hope our summary provides useful general knowledge for people who want to enter and engage with this exciting community; and also provides some "mind of ease" convenience for SNN researchers to explain their work in the right contexts. At the very least (and perhaps as this article's most insignificant target functionality), if you are writing/planning to write a paper or rebuttal in the field of SNNs, we hope some of our answers could help you!

研究动机与目标

• 解决稀疏神经网络（SNN）研究中因术语重叠和稀疏类型与训练范式之间模糊区分而引发的广泛困惑。
• 提供一个统一且易于理解的参考，澄清核心概念，如非结构化与结构化稀疏性、从密集到稀疏的训练与从稀疏到稀疏的训练，以及训练前、训练中和训练后稀疏性。
• 通过倡导在不同任务、架构和配置之间比较SNN算法时采用标准化协议，推动公平且严谨的评估。
• 通过提供上下文恰当的SNN方法及其假设的解释，帮助研究人员撰写更清晰的论文和反驳意见。
• 鼓励社区超越简单的基准测试，采用多样化、具有挑战性的任务和硬件感知指标，以更准确地评估SNN性能。

提出的方法

• 沿着关键维度对SNN方法进行分类：稀疏类型（非结构化 vs. 结构化）、训练阶段（训练前、训练中、训练后）和拓扑演化（静态 vs. 动态）。
• 区分从密集到稀疏的训练（如迭代权重剪枝）与从稀疏到稀疏的训练（如动态稀疏训练、初始化时剪枝），强调其不同的假设和计算成本。
• 阐明彩票猜想（Lottery Ticket Hypothesis, LTH）与静态稀疏训练（Static Sparse Training, SST）之间的关系，指出尽管LTH发现的是稀疏子网络，但其构建过程本质上是密集到稀疏的，而非稀疏到稀疏的。
• 倡导标准化评估，建议在基线比较中保持预训练模型、超参数、数据增强和训练计划的一致性。
• 建议使用超越CIFAR-10/100的多样化基准，包括视觉和自然语言处理任务，并引入硬件感知指标如实际吞吐量和延迟。
• 强调通过报告3–5个随机种子的误差条来确保统计可靠性与可复现性。

Figure 1: Neuron Pruning v.s. Weight Pruning on Fully-Connected Networks. The green color indicates being pruned. Neuron pruning results in width decrease while weight pruning results in sparser connection but no change in width .

实验结果

研究问题

• RQ1 在模型效率和硬件支持方面，非结构化稀疏性与结构化稀疏性有何不同？
• RQ2 从密集到稀疏的训练与从稀疏到稀疏的训练有何区别？为何这种区别对性能和资源使用至关重要？
• RQ3 为何直接将从稀疏到稀疏的训练方法与LTH进行比较具有误导性？LTH在评估中应如何被公正地定位？
• RQ4 SNN比较中的关键混淆因素是什么？如何在基准测试中加以控制？
• RQ5 研究人员如何确保在多样化任务和硬件平台之间对SNN算法进行公平且有意义的评估？

主要发现

• 尽管最终结果是可训练的稀疏子网络，LTH本质上应被理解为一种从密集到稀疏的方法，因其依赖于预训练和迭代剪枝。
• 动态稀疏训练（DST）和初始化时剪枝（PaI）均为从稀疏到稀疏的方法，但DST在训练过程中动态更新稀疏掩码，而PaI在初始化时使用固定且基于梯度的掩码。
• 在未控制预训练、超参数或训练时间的情况下比较SNN方法，会导致误导性结论，因为混淆变量可能对性能产生巨大影响。
• 仅使用CIFAR-10/100等小型、过时的数据集进行评估不足以得出有意义的结论，因为所有SNN方法在这些数据集上表现相似。
• 硬件感知指标如实际吞吐量和延迟对于评估实际效率至关重要，应与准确率和FLOPs一同报告。
• 通过报告3–5个随机种子的均值与标准差，是确保SNN研究中统计可靠性与可复现性的关键。