[论文解读] Parameter-Efficient Masking Networks

Yue Bai, Huan Wang+4 more|arXiv (Cornell University)|Oct 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出参数高效掩码网络（PEMN），一种新颖的网络压缩范式，通过单一随机权重向量与可学习掩码表示深度神经网络，显著降低模型大小。通过在固定随机权重上学习多样化的掩码（且唯一值数量有限），PEMN在极低存储成本下实现高性能，其压缩效率与鲁棒性在多种架构上均优于基线方法。

ABSTRACT

A deeper network structure generally handles more complicated non-linearity and performs more competitively. Nowadays, advanced network designs often contain a large number of repetitive structures (e.g., Transformer). They empower the network capacity to a new level but also increase the model size inevitably, which is unfriendly to either model restoring or transferring. In this study, we are the first to investigate the representative potential of fixed random weights with limited unique values by learning diverse masks and introduce the Parameter-Efficient Masking Networks (PEMN). It also naturally leads to a new paradigm for model compression to diminish the model size. Concretely, motivated by the repetitive structures in modern neural networks, we utilize one random initialized layer, accompanied with different masks, to convey different feature mappings and represent repetitive network modules. Therefore, the model can be expressed as extit{one-layer} with a bunch of masks, which significantly reduce the model storage cost. Furthermore, we enhance our strategy by learning masks for a model filled by padding a given random weights vector. In this way, our method can further lower the space complexity, especially for models without many repetitive architectures. We validate the potential of PEMN learning masks on random weights with limited unique values and test its effectiveness for a new compression paradigm based on different network architectures. Code is available at https://github.com/yueb17/PEMN

研究动机与目标

• 探究在深度神经网络中，具有有限唯一值的固定随机权重向量与可学习掩码结合时的最大表征潜力。
• 解决深度网络中模型尺寸过大的挑战，尤其针对移动端和可迁移部署场景。
• 提出一种新型网络压缩范式，以随机向量和学习掩码替代稀疏权重存储。
• 将该压缩方法推广至多样化架构，包括无重复结构的网络。
• 证明在高压缩比下，模型性能仍保持鲁棒性。

提出的方法

• 提出一种单层策略：使用单个随机初始化的层作为原型，在网络中通过不同掩码进行复制。
• 引入最大层填充（MP）方法，从网络中参数最多的层填充各层，以保持结构相似性。
• 开发随机向量填充（RP）方法，作为与架构无关的方案，使用一个长度适当的随机向量初始化所有层。
• 通过反向传播学习任务特定的二值或连续掩码，从固定随机权重结构中选择子网络。
• 将完整网络表示为固定随机权重向量与一组学习掩码的组合，极大减少唯一参数数量。
• 以掩码为基础的重建替代传统稀疏权重恢复，降低存储与传输成本。

实验结果

研究问题

• RQ1 当与可学习掩码结合时，具有有限唯一值的固定随机权重向量的最大表征容量是多少？
• RQ2 通过掩码学习，是否可使仅使用随机权重填充的极小唯一参数量神经网络实现具有竞争力的性能？
• RQ3 与传统稀疏网络训练相比，所提出的基于PEMN的压缩范式在压缩率与准确率之间的权衡表现如何？
• RQ4 该方法在不同网络架构（包括非重复结构）上的泛化能力有多强？
• RQ5 在极端压缩比下，该方法是否仍能保持性能，尤其与更大的基线模型相比？

主要发现

• 所提出的PEMN方法在多种架构（包括ResNet和ConvMixer）上实现了最先进的压缩性能，压缩比显著高于基线方法。
• 与传统稀疏训练不同，PEMN在压缩率增加时性能不会急剧下降，反而在高阶压缩下仍保持鲁棒性与高准确率。
• 使用PEMN压缩的小型模型性能优于通过传统稀疏方法训练的更大基线模型，证明了其更高的参数效率。
• 在更深网络中（如ResNet56与ResNet32对比），压缩模型与密集模型之间的性能差距更小，表明其在深度上具有更好的可扩展性。
• 在CIFAR-10上对ConvMixer的实验表明，PEMN在更小模型尺寸下仍保持更高准确率，验证了其在不同网络设计中的有效性。
• 通过随机向量填充实现的与架构无关的特性，使该方法具有广泛适用性，甚至适用于无重复结构的网络。