[论文解读] ParameterNet: Parameters Are All You Need

Kai Han, Yunhe Wang+2 more|arXiv (Cornell University)|Jun 26, 2023

Visual Attention and Saliency Detection被引用 5

一句话总结

本文提出 ParameterNet，一种新颖的设计原则，通过在保持 FLOPs 低水平的同时增加模型参数，从而提升大规模视觉与语言预训练性能——采用动态卷积和 MoE 适配器。该方法克服了‘低 FLOPs 陷阱’，使低 FLOPs 模型也能从大规模预训练中受益，在 ImageNet-1K 上实现 81.6% 的 top-1 准确率（对比 Swin-T 的 80.9%），FLOPs 降低 7 倍，且在 LLaMA-1B 上通过 MoE 扩展实现平均 2.37% 的准确率提升。

ABSTRACT

The large-scale visual pretraining has significantly improve the performance of large vision models. However, we observe the \emph{low FLOPs pitfall} that the existing low-FLOPs models cannot benefit from large-scale pretraining. In this paper, we introduce a novel design principle, termed ParameterNet, aimed at augmenting the number of parameters in large-scale visual pretraining models while minimizing the increase in FLOPs. We leverage dynamic convolutions to incorporate additional parameters into the networks with only a marginal rise in FLOPs. The ParameterNet approach allows low-FLOPs networks to take advantage of large-scale visual pretraining. Furthermore, we extend the ParameterNet concept to the language domain to enhance inference results while preserving inference speed. Experiments on the large-scale ImageNet-22K have shown the superiority of our ParameterNet scheme. For example, ParameterNet-600M can achieve higher accuracy on ImageNet than the widely-used Swin Transformer (81.6\% \emph{vs.} 80.9\%) and has much lower FLOPs (0.6G \emph{vs.} 4.5G). In the language domain, LLaMA-1B enhanced with ParameterNet achieves 2\% higher accuracy over vanilla LLaMA. The code will be released at \url{https://parameternet.github.io/}.

研究动机与目标

• 解决‘低 FLOPs 陷阱’问题，即小 FLOPs 模型无法从大规模预训练中获益。
• 探究在保持 FLOPs 低水平的同时增加参数是否能提升视觉与语言模型的性能。
• 开发一种可泛化的设计原则，使资源受限模型能够实现高效、可扩展的预训练。
• 在视觉（如 ImageNet-22K）和语言（如 LLaMA）模型上验证 ParameterNet 的有效性。

提出的方法

• 提出 ParameterNet，一种在大规模预训练中优先考虑参数数量而非 FLOPs 的设计原则。
• 在视觉模型中使用动态卷积，在几乎不增加 FLOPs 的前提下引入额外参数。
• 在 LLM 中应用稀疏激活的 MoE（专家混合），在推理阶段不增加 FLOPs 的前提下增加参数。
• 将该方法应用于 CNN（如 GhostNet）和视觉 Transformer（如 Swin-300M）以实现视觉预训练。
• 通过在每个 FFN 线性投影层添加 MoE 适配器，将该方法扩展至 LLaMA-1B，保持 FLOPs 不变的同时提升模型容量。
• 在大规模数据集（ImageNet-22K、C4、Wikipedia、ArXiv）上训练模型，并在下游任务上进行评估。

实验结果

研究问题

• RQ1 在保持 FLOPs 低水平的同时增加模型参数，是否能显著提升大规模视觉预训练的性能？
• RQ2 为何低 FLOPs 模型无法从大规模预训练中受益？这一‘低 FLOPs 陷阱’能否被克服？
• RQ3 通过动态卷积或 MoE 实现的参数扩展，是否能在不增加 FLOPs 的前提下提升性能？
• RQ4 ParameterNet 原则是否可泛化至大型语言模型，并提升零样本与微调性能？

主要发现

• ParameterNet-600M 在 ImageNet-1K 上实现 81.6% 的 top-1 准确率，优于 Swin-T（80.9%），且 FLOPs 降低 7 倍（0.6G vs. 4.5G）。
• 原始 GhostNet 模型陷入低 FLOPs 陷阱，而 ParameterNet-600M 成功克服该问题，在 ImageNet-1K 预训练中实现 +2% 的准确率提升。
• 在 ImageNet-22K 上预训练的 Swin-300M 经 ParameterNet 增强后，准确率提升 +2.2%。
• 在 up-projection 层引入 MoE（8 个专家）的 LLaMA-1B 在零样本任务上实现平均 2.37% 的准确率提升，优于基线。
• 随着参数增加，训练损失下降，表明学习能力与数据理解能力得到提升。
• 该方法在不同架构间具有泛化能力：CNN 中使用动态卷积，Transformer/LLM 中使用 MoE，均实现显著性能提升，且未增加 FLOPs。