[论文解读] Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective

Can Jin, Tianjin Huang+5 more|arXiv (Cornell University)|Dec 3, 2023

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出VPN，一种数据-模型协同设计框架，通过联合优化视觉提示（visual prompts）与可学习权重掩码（learnable weight masks），以提升视觉模型中神经网络稀疏化的效果。通过联合训练提示与掩码，VPN在多个模型架构和数据集上均实现了当前最优的准确率，训练轮次较之前方法减少高达95%，且子网络具有更优的可迁移性。

ABSTRACT

The rapid development of large-scale deep learning models questions the affordability of hardware platforms, which necessitates the pruning to reduce their computational and memory footprints. Sparse neural networks as the product, have demonstrated numerous favorable benefits like low complexity, undamaged generalization, etc. Most of the prominent pruning strategies are invented from a model-centric perspective, focusing on searching and preserving crucial weights by analyzing network topologies. However, the role of data and its interplay with model-centric pruning has remained relatively unexplored. In this research, we introduce a novel data-model co-design perspective: to promote superior weight sparsity by learning important model topology and adequate input data in a synergetic manner. Specifically, customized Visual Prompts are mounted to upgrade neural Network sparsification in our proposed VPNs framework. As a pioneering effort, this paper conducts systematic investigations about the impact of different visual prompts on model pruning and suggests an effective joint optimization approach. Extensive experiments with 3 network architectures and 8 datasets evidence the substantial performance improvements from VPNs over existing start-of-the-art pruning algorithms. Furthermore, we find that subnetworks discovered by VPNs from pre-trained models enjoy better transferability across diverse downstream scenarios. These insights shed light on new promising possibilities of data-model co-designs for vision model sparsification.

研究动机与目标

• 解决数据及其与以模型为中心的剪枝方法之间相互作用在神经网络稀疏化中被低估的作用。
• 探究视觉提示是否能提升稀疏视觉模型的性能，尤其是在剪枝后应用时。
• 开发一种协同设计范式，协同优化视觉提示与权重掩码，以发现高性能的稀疏子网络。
• 展示与现有剪枝算法相比，通过所提方法发现的子网络在效率和可迁移性方面均有提升。

提出的方法

• 提出一种新颖的数据-模型协同设计框架VPN，于剪枝过程中联合训练视觉提示与可微分权重掩码。
• 设计专用的视觉提示（pad、random与fix提示），并引入可调参数，以向稀疏化过程注入数据级别的归纳偏置。
• 实施一种联合优化方案，端到端更新视觉提示与二值掩码，以识别最优稀疏子网络。
• 利用可学习的提示嵌入空间，自适应地关注相关输入区域，增强稀疏模型中的特征表示。
• 在多种架构（如ResNet-18）与数据集（如CIFAR-100、ImageNet）上应用该框架，以评估其泛化性与鲁棒性。
• 采用两阶段训练流程：第一阶段为带视觉提示的掩码查找；第二阶段为带提示的子网络调优，实现渐进式优化。

实验结果

研究问题

• RQ1 剪枝后应用的视觉提示是否能有效提升稀疏视觉模型的性能，尤其是在模型微调后应用时？
• RQ2 不同视觉提示设计（如pad、random、fix）对稀疏子网络的准确率与收敛性有何影响？
• RQ3 在剪枝流程中，视觉提示在掩码查找阶段与子网络调优阶段的相对贡献如何？
• RQ4 通过该方法发现的子网络在多样化的下游任务与数据集上具有多大程度的泛化能力？
• RQ5 视觉提示与权重掩码的联合优化能否实现更快收敛与更高稀疏度，同时保持性能？

主要发现

• VPNs在8个数据集与3种架构上均优于当前最优的剪枝方法（如LTH、GraSP与HYDRA），实现了更高的测试准确率。
• 在90%稀疏度下，VPNs所需训练轮次较LTH减少95%，较GraSP与HYDRA各减少50%，展现出卓越的训练效率。
• pad提示设计始终优于random与fix提示，最优性能出现在pad大小为16时，而更大的pad尺寸会降低性能。
• VPNs发现的子网络在不同数据集间表现出强大的可迁移性，表明其在下游应用中的实际价值。
• 与LTH和GraSP相比，VPNs分别将训练时间减少26%与8.97%，且在更高稀疏度下仍保持与GraSP相近的训练耗时。
• 消融实验表明，视觉提示在子网络调优阶段的贡献显著高于在掩码查找阶段，验证了在训练后期整合提示的重要性。