[论文解读] Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone

Zeyinzi Jiang, Chaojie Mao+6 more|arXiv (Cornell University)|Oct 30, 2023

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

Res-Tuning 提出了一种新颖的参数高效微调范式，将调优器与主干模型解耦，实现了调优策略的灵活组合与更高的内存效率。通过解耦调优器，该方法在 VTAB-1K 上实现了最先进性能，并通过一种内存高效的变体 Res-Tuning-Bypass，将训练内存减少 49.7%，多任务推理时间减少 80.9%。

ABSTRACT

Parameter-efficient tuning has become a trend in transferring large-scale foundation models to downstream applications. Existing methods typically embed some light-weight tuners into the backbone, where both the design and the learning of the tuners are highly dependent on the base model. This work offers a new tuning paradigm, dubbed Res-Tuning, which intentionally unbinds tuners from the backbone. With both theoretical and empirical evidence, we show that popular tuning approaches have their equivalent counterparts under our unbinding formulation, and hence can be integrated into our framework effortlessly. Thanks to the structural disentanglement, we manage to free the design of tuners from the network architecture, facilitating flexible combination of various tuning strategies. We further propose a memory-efficient variant of Res-Tuning, where the bypass i.e., formed by a sequence of tuners) is effectively detached from the main branch, such that the gradients are back-propagated only to the tuners but not to the backbone. Such a detachment also allows one-time backbone forward for multi-task inference. Extensive experiments on both discriminative and generative tasks demonstrate the superiority of our method over existing alternatives from the perspectives of efficacy and efficiency. Project page: $\href{https://res-tuning.github.io/}{ extit{https://res-tuning.github.io/}}$.

研究动机与目标

• 解决现有参数高效微调（PETL）方法中调优器与主干架构紧密耦合所导致的僵化与低效问题。
• 克服现有 PETL 方法（如 prefix-tuning、prompt-tuning 和 adapters）在设计灵活性与可组合性方面的局限性。
• 通过在反向传播过程中将调优器路径与主干网络分离，实现训练与推理的内存高效化。
• 通过结构解耦与模块化调优器组合，促进更强调优策略的发现。
• 在判别式与生成式下游任务中，均以极低的计算与内存开销实现性能不降的微调。

提出的方法

• 提出一种解耦公式，将调优器与主干网络分离，实现调优器的独立设计与训练。
• 通过理论等价性证明，将现有 PETL 方法（如 prefix-tuning、prompt-tuning、adapters）重新表述为 Res-Tuning 框架下的等效组件。
• 提出 Res-Tuning-Bypass，一种内存高效的变体，其中调优器路径（旁路）从主干网络中分离，仅将梯度反传至调优器。
• 通过隔离调优器路径，实现在多任务推理中对冻结主干网络仅执行一次前向传播。
• 使用残差风格跳跃连接，以残差方式将调优器作为可学习模块集成，保持梯度流动与模型稳定性。
• 在判别式任务（如 VTAB-1K）与生成式任务（如 Stable Diffusion）中应用该框架，仅需极少的架构修改。

实验结果

研究问题

• RQ1 现有参数高效微调方法能否在统一的、非耦合框架下被等价重述？
• RQ2 将调优器与主干网络解耦是否能实现更灵活、可组合的调优策略，并超越现有方法？
• RQ3 分离的调优器路径（旁路）是否能显著降低多任务学习中的内存与推理成本？
• RQ4 Res-Tuning-Bypass 变体在降低训练与推理开销的同时，能在多大程度上保持或提升性能？
• RQ5 解耦公式在 few-shot 学习与域泛化场景下的性能影响如何？

主要发现

• Res-Tuning 在 VTAB-1K 上仅使用 150 万个可学习参数即达到最先进性能，优于 LoRA（14.50 分，参数量为 4 倍）。
• 在判别式任务中，Res-Tuning-Bypass 相较于全微调模型，将训练内存消耗减少 49.7%，多任务推理时间减少 80.9%。
• 在 Stable Diffusion v1.5 的文本到图像生成任务中，Res-Tuning-Bypass 将内存使用量降至全微调基线的 29%，训练时间降至 41%。
• 在生成式任务中，该方法将内存消耗减少 70.7%，训练时间减少 58.6%，同时保持具有竞争力的 FID 分数与生成质量。
• 定性结果表明，语义对齐性与生成保真度显著提升，例如正确生成五瓣花瓣的气球花，以及鸟类羽毛的逼真纹理。
• 该框架支持以模块化方式有效组合多种调优策略（如 adapters、prefix-tuning），性能优于单一方法。