[论文解读] Powerpropagation: A sparsity inducing weight reparameterisation

Jonathan Schwarz, Siddhant M. Jayakumar+3 more|arXiv (Cornell University)|Oct 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 88被引用 7

一句话总结

Powerpropagation 是一种新颖的权重重参数化方法，通过使梯度更新与参数大小成正比，诱导模型稀疏性，从而实现‘强者愈强’的动态机制，使大权重更快适应，而小权重基本保持不变。这导致模型在零处具有更高的密度，从而实现更有效的剪枝，并在稀疏训练和持续学习设置中提升性能。

ABSTRACT

The training of sparse neural networks is becoming an increasingly important tool for reducing the computational footprint of models at training and evaluation, as well enabling the effective scaling up of models. Whereas much work over the years has been dedicated to specialised pruning techniques, little attention has been paid to the inherent effect of gradient based training on model sparsity. In this work, we introduce Powerpropagation, a new weight-parameterisation for neural networks that leads to inherently sparse models. Exploiting the behaviour of gradient descent, our method gives rise to weight updates exhibiting a "rich get richer" dynamic, leaving low-magnitude parameters largely unaffected by learning. Models trained in this manner exhibit similar performance, but have a distribution with markedly higher density at zero, allowing more parameters to be pruned safely. Powerpropagation is general, intuitive, cheap and straight-forward to implement and can readily be combined with various other techniques. To highlight its versatility, we explore it in two very different settings: Firstly, following a recent line of work, we investigate its effect on sparse training for resource-constrained settings. Here, we combine Powerpropagation with a traditional weight-pruning technique as well as recent state-of-the-art sparse-to-sparse algorithms, showing superior performance on the ImageNet benchmark. Secondly, we advocate the use of sparsity in overcoming catastrophic forgetting, where compressed representations allow accommodating a large number of tasks at fixed model capacity. In all cases our reparameterisation considerably increases the efficacy of the off-the-shelf methods.

研究动机与目标

• 解决标准梯度训练神经网络时缺乏内在稀疏性诱导的问题。
• 通过训练期间的内在稀疏性，减少深度学习模型的计算和内存开销。
• 通过利用自然倾向于稀疏解的参数化方式，提升现有剪枝和持续学习技术的有效性。
• 在资源受限环境下实现更高效的模型压缩，并在持续学习中缓解灾难性遗忘。
• 提供一种简单、通用的方法，可轻松与现有稀疏性和压缩技术结合使用。

提出的方法

• 在前向传播过程中，将网络权重提升至 α 次幂（α > 1）进行重参数化，同时保留符号。
• 该重参数化在梯度计算中引入了 |w|^{α-1} 的缩放因子，使更新与权重大小成正比。
• 小幅度权重接收更小的梯度更新，从而形成‘强者愈强’的动态，使大权重主导学习过程。
• 该方法作为一种隐式正则化器，促进稀疏性，而无需添加显式惩罚或修改损失函数。
• 该方法与标准优化兼容，可仅通过少量代码更改实现（例如，在前向传播中增加一行代码）。
• 与现有技术（如权重剪枝、稀疏到稀疏训练，以及高效持续学习方法如 EfficientPackNet）结合使用。

实验结果

研究问题

• RQ1 能否修改基于梯度的训练，使其在无需显式正则化的情况下内在生成更稀疏的模型？
• RQ2 Powerpropagation 如何影响训练后模型的稀疏性分布和剪枝效果？
• RQ3 Powerpropagation 是否能在资源受限设置（如 ImageNet）下的稀疏训练中提升性能？
• RQ4 Powerpropagation 是否能通过压缩的稀疏表示减少灾难性遗忘，从而提升持续学习性能？
• RQ5 超参数 α 如何影响稀疏性与模型性能之间的权衡？

主要发现

• 使用 Powerpropagation 训练的模型在零处表现出显著更高的权重密度，从而支持更激进且安全的剪枝。
• 在 ImageNet 上，Powerpropagation 与稀疏到稀疏训练结合，实现了最先进性能，在相同稀疏性约束下优于现有方法。
• 在 10 个任务的 Split-CIFAR100 持续学习基准上，Powerpropagation + EfficientPackNet 在任务推理中达到 73.70% 的准确率，创下新 SOTA 记录。
• 该方法在 Continual World RL 基准上表现更优，实现了 86% 的平均成功率，且几乎无遗忘（0.00），超越了先前方法。
• Powerpropagation 与 EfficientPackNet 的结合在 Split-MNIST 上实现了 99.71% 的准确率，甚至优于采用独立任务头的方法。
• 该方法在多种设置下均表现出色，包括稀疏训练和持续学习，且实现开销极低。