[论文解读] Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision Tasks

Yen‐Cheng Liu, Chih‐Yao Ma+3 more|arXiv (Cornell University)|Oct 7, 2022

Multimodal Machine Learning Applications被引用 15

一句话总结

Polyhistor 和 Polyhistor-Lite 是针对使用视觉变换器的密集视觉任务的参数高效多任务微调方法，通过引入分解超网络（Decomposed HyperNetworks）和逐层缩放核（Layer-wise Scaling Kernels），将可训练参数减少高达 90%，同时保持或超越全量微调的性能。该方法仅使用先前方法约 10% 的参数，即实现了最先进精度。

ABSTRACT

Adapting large-scale pretrained models to various downstream tasks via fine-tuning is a standard method in machine learning. Recently, parameter-efficient fine-tuning methods show promise in adapting a pretrained model to different tasks while training only a few parameters. Despite their success, most existing methods are proposed in Natural Language Processing tasks with language Transformers, and adaptation to Computer Vision tasks with Vision Transformers remains under-explored, especially for dense vision tasks. Further, in multi-task settings, individually fine-tuning and storing separate models for different tasks is inefficient. In this work, we provide an extensive multi-task parameter-efficient benchmark and examine existing parameter-efficient fine-tuning NLP methods for vision tasks. Our results on four different dense vision tasks showed that existing methods cannot be efficiently integrated due to the hierarchical nature of the Hierarchical Vision Transformers. To overcome this issue, we propose Polyhistor and Polyhistor-Lite, consisting of Decomposed HyperNetworks and Layer-wise Scaling Kernels, to share information across different tasks with a few trainable parameters. This leads to favorable performance improvements against existing parameter-efficient methods while using fewer trainable parameters. Specifically, Polyhistor achieves competitive accuracy compared to the state-of-the-art while only using ~10% of their trainable parameters. Furthermore, our methods show larger performance gains when large networks and more pretraining data are used.

研究动机与目标

• 为解决现有参数高效微调方法在密集视觉任务中，尤其是分层视觉变换器中的低效问题。
• 克服适配器方法与超网络方法在应用于多任务密集视觉基准时的局限性。
• 设计一种统一的、参数高效的框架，在最小化可训练参数的同时实现多个密集视觉任务之间的知识共享。
• 评估参数高效方法在不同模型规模和预训练数据设置下的可扩展性与性能表现。
• 证明更大模型与更多预训练数据能进一步放大所提方法的性能增益。

提出的方法

• 提出分解轻量超网络（Decomposed Lite-HyperNetworks），将单个大型超网络拆分为两个更小的低秩超网络，用于生成适配器权重，从而在保持性能的同时显著减少参数量。
• 引入逐层缩放核（Layer-wise Scaling Kernels），通过克罗内克积将适配器权重矩阵分解为模板核（Template Kernels）与可调节大小的缩放核（Scaling Kernels），实现在分层视觉变换器中跨层的参数共享。
• 在所有层之间共享模板核，并根据每层的特征维度动态调整缩放核的大小，实现在不增加参数量的前提下实现高效适配。
• 采用任务特定的嵌入向量来控制超网络，使每个任务拥有独立的适配路径，同时共享核心的参数高效机制。
• 将该方法应用于基于 Swin Transformer 的模型，实现语义分割、实例分割、显著性预测与法向估计等任务的联合训练，仅需极少的参数更新。
• 构建一个统一的基准框架，采用一致的训练与评估协议，以公平比较现有基于 NLP 的参数高效方法在密集视觉任务中的表现。

实验结果

研究问题

• RQ1 现有基于 NLP 的参数高效微调方法能否有效迁移至使用视觉变换器的密集视觉任务？
• RQ2 为何适配器方法与超网络方法在分层视觉变换器中进行多任务学习时难以高效扩展？
• RQ3 如何在不牺牲性能的前提下，显著减少多任务视觉适配中的可训练参数数量？
• RQ4 参数高效方法的性能增益是否会随着模型规模与预训练数据规模的增大而提升？
• RQ5 跨任务共享的统一适配机制是否能以更少参数实现优于任务特定微调的性能？

主要发现

• Polyhistor-Lite 在 Swin-Tiny 模型上使用 ImageNet-1k 预训练时，仅需 0.41M 个可训练参数（占全模型参数的 0.36%），相比单任务全量微调实现了 1.74% 的平均精度提升。
• 该方法优于当前最先进的多任务参数高效方法，尽管后者使用了显著更多的参数，且仅用其约 10% 的可训练参数即实现了具有竞争力的性能表现。
• 性能增益随主干模型规模增大而提升：在 Swin-Base 上观察到的改进幅度大于 Swin-Tiny，表明该方法具备良好的模型规模可扩展性。
• 在 ImageNet-22k 上预训练的模型相比 ImageNet-1k 预训练模型展现出更大的性能增益，且达到相同性能水平所需可训练参数更少。
• 更大的任务嵌入维度（最高达 64）带来更高的平均性能增益，当 k=64 时，相比全量微调实现 1.74% 的精度提升。
• 该方法在多种密集视觉任务中均保持优异性能，包括语义分割、实例分割、显著性预测与法向估计，展现出广泛的适用性。