[论文解读] Parameter-efficient Model Adaptation for Vision Transformers

Xuehai He, Chunyuan Li+3 more|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出Kronecker微调（KAdaptation），一种通过将权重更新投影到低秩Kronecker积中的参数高效微调视觉Transformer（ViT）的方法，在少样本设置下仅使用全模型0.09%的参数即实现了SOTA精度。该方法在20个图像分类数据集上均优于现有方法，在准确率和参数效率方面表现更优。

ABSTRACT

In computer vision, it has achieved great transfer learning performance via adapting large-scale pretrained vision models (e.g., vision transformers) to downstream tasks. Common approaches for model adaptation either update all model parameters or leverage linear probes. In this paper, we aim to study parameter-efficient model adaptation strategies for vision transformers on the image classification task. We formulate efficient model adaptation as a subspace training problem and perform a comprehensive benchmarking over different efficient adaptation methods. We conduct an empirical study on each efficient model adaptation method focusing on its performance alongside parameter cost. Furthermore, we propose a parameter-efficient model adaptation framework, which first selects submodules by measuring local intrinsic dimensions and then projects them into subspace for further decomposition via a novel Kronecker Adaptation (KAdaptation) method. We analyze and compare our method with a diverse set of baseline model adaptation methods (including state-of-the-art methods for pretrained language models). Our method performs the best in terms of the tradeoff between accuracy and parameter efficiency across 20 image classification datasets under the few-shot setting and 7 image classification datasets under the full-shot setting.

研究动机与目标

• 解决大规模视觉Transformer全量微调带来的高存储和计算成本问题。
• 在准确率与效率权衡上超越线性探测和现有参数高效方法。
• 在图像分类任务上建立视觉Transformer参数高效微调的全面基准。
• 通过局部内在维数分析，识别最有效的可微调子模块。
• 提出一种新方法KAdaptation，通过Kronecker积分解权重更新，以提升参数效率。

提出的方法

• 将参数高效微调建模为子空间训练问题，利用权重更新的低维重参数化。
• 使用Fastfood变换测量ViT模块的局部内在维数，以识别关键微调组件。
• 将KAdaptation应用于注意力层，因其内在维数较低（300 vs. MLP的575），表明其重要性更高。
• 通过共享慢权重和低秩快权重，将权重更新分解为Kronecker积，以减少参数量。
• 冻结预训练权重，仅训练Kronecker微调的更新矩阵，从而最小化推理开销。
• 采用参数化超复数乘法，高效表示和更新低秩Kronecker组件。

实验结果

研究问题

• RQ1 ViT模块（注意力层 vs. MLP）中，哪类模块表现出更低的内在维数，因而更适合高效微调？
• RQ2 基于Kronecker的权重更新分解能否在准确率-效率权衡上优于LoRA或适配器等现有方法？
• RQ3 在准确率、参数量、内存占用和推理速度方面，KAdaptation与全量微调和线性探测相比表现如何？
• RQ4 该方法在少样本和全量样本设置下，是否能在多样化的图像分类基准上实现良好泛化？
• RQ5 内在维数测量能否有效指导子模块的选择，以实现高效微调？

主要发现

• 在20个图像分类数据集的少样本设置下，KAdaptation实现了79.2%的平均准确率，优于所有基线方法，包括LoRA和适配器。
• KAdaptation仅使用全模型0.09%的参数（约为LoRA参数量的45%），展现出极高的参数效率。
• 与全量微调相比，内存占用减少86.0%，同时推理速度与原始ViT相当（每批次6.93秒）。
• 注意力模块的局部内在维数（300）低于MLP模块（575），支持其在微调中优先考虑。
• 消融实验表明，KAdaptation在注意力层上的微调优于MLP微调和标准适配器调优，在CIFAR10、CIFAR100和SUN397上的平均准确率达到88.1%。
• KAdaptation保持了低推理延迟（每批次6.93秒），而基于适配器的方法因增加层导致延迟达12.97秒或更高。