[论文解读] Towards a Unified View on Visual Parameter-Efficient Transfer Learning

Bruce X. B. Yu, Jianlong Chang+3 more|arXiv (Cornell University)|Oct 3, 2022

Multimodal Machine Learning Applications被引用 14

一句话总结

本文提出 V-PETL，一种统一的视觉参数高效微调框架，引入一种新型前缀调优变体——并行注意力（PATT），以改善视觉任务中的参数-准确率权衡。通过将 PATT 集成到视觉 Transformer 模型中，该方法在仅使用远少于完整微调的可训练参数量的情况下，实现了最先进的性能，在 Something-Something V2 和 HMDB51 等数据集上甚至优于 AdaptFormer-Swin 和完整微调方法。

ABSTRACT

Parameter efficient transfer learning (PETL) aims at making good use of the representation knowledge in the pre-trained large models by fine-tuning a small number of parameters. Recently, taking inspiration from the natural language processing (NLP) domain, popular PETL techniques such as prompt-tuning and Adapter have also been successfully applied to the vision domain. However, prefix-tuning remains under-explored for vision tasks. In this work, we intend to adapt large vision models (LVMs) to downstream tasks with a good parameter-accuracy trade-off. Towards this goal, we propose a framework with a unified view of PETL called visual-PETL (V-PETL) to investigate the effects of different PETL techniques, data scales of downstream domains, positions of trainable parameters, and other aspects affecting the trade-off. Specifically, we analyze the positional importance of trainable parameters and differences between NLP and vision tasks in terms of data structures and pre-training mechanisms while implementing various PETL techniques, especially for the under-explored prefix-tuning technique. Based on a comprehensive understanding of the differences between NLP and vision data, we propose a new variation of the prefix-tuning module called parallel attention (PATT) for vision downstream tasks. An extensive empirical analysis on vision tasks via different frozen LVMs has been carried and the findings show that the proposed PATT can effectively contribute to other PETL techniques. An effective scheme Swin-BAPAT derived from the proposed V-PETL framework achieves significantly better performance than the state-of-the-art AdaptFormer-Swin with slightly more parameters and outperforms full-tuning with far fewer parameters. Code and data are available at: https://github.com/bruceyo/V-PETL.

研究动机与目标

• 为解决在下游任务中微调大型视觉模型（LVMs）时计算与存储成本过高的挑战。
• 探索视觉领域中参数高效迁移学习（PETL）技术，特别是尚未充分研究的前缀调优方法。
• 建立一个统一框架，用于分析视觉领域中 PETL 技术、数据规模以及可训练参数位置的影响。
• 通过引入一种新型 PATT 模块，改进视觉迁移学习中的参数-准确率权衡。
• 在多种大型视觉模型和下游视觉任务上验证 PATT 的有效性。

提出的方法

• 提出统一的 V-PETL 框架，系统性地研究视觉领域中的 PETL 技术，包括提示调优、适配器和前缀调优。
• 引入并行注意力（PATT），一种新型前缀调优变体，通过解耦自注意力中的查询与键投影，实现更优的梯度流动与更高的参数效率。
• PATT 插入多头注意力模块之前，与主干模型并行学习任务特定表征。
• 通过超参数 dbottle 控制可训练参数数量，实现对模型容量的灵活调节。
• 在多个视觉模型（如 Swin、ViT、VideoMAE）和数据集（ImageNet、SSv2、HMDB51）上采用统一的训练协议，确保公平比较。
• 结合使用监督预训练与自监督预训练模型，以评估泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 在视觉任务中，不同 PETL 技术（如提示调优、适配器、前缀调优）在准确率与参数效率方面的表现如何比较？
• RQ2 NLP 与视觉数据之间的关键差异是什么，这些差异如何影响前缀调优在视觉领域的设计与性能？
• RQ3 可训练参数的位置如何影响视觉迁移学习中的参数-准确率权衡？
• RQ4 像 PATT 这类新型前缀调优变体是否能在视觉领域超越现有 PETL 方法？
• RQ5 所提出方法在不同数据规模及预训练范式（监督式 vs. 自监督式）下的可扩展性如何？

主要发现

• 我们的方法 Swn-BAPAT（dbottle=32）在 SSv2 上达到 86.55% 的 Top-1 准确率，优于完整微调（86.04%），且仅使用 9.68% 的可训练参数。
• 在 HMDB51 上，Swin-BAPAT-32 达到 57.18% 的 Top-1 准确率，超过完整微调（46.41%）与 AdaptFormer-Swin（55.69%），且参数量显著更少。
• ViT-BAPAT-32 在 CIFAR-100 上达到 86.29% 的 Top-1 准确率，优于 AdaptFormer-64（85.90%），并匹配完整微调（86.04%），仅使用 2.47% 的参数。
• PATT 模块在多个视觉模型（Swin、ViT）与数据集（图像与视频）上均实现一致的性能提升，尤其在 SSv2 上相比完整微调提升达 5.05%。
• 即使在小批量大小（如 16）下，该方法仍保持强劲性能，适用于资源受限的边缘设备。
• 大量消融实验表明，PATT 改善了梯度流动与参数效率，尤其在低数据场景下，验证了其设计选择的有效性。