[论文解读] Robust fine-tuning of zero-shot models

Mitchell Wortsman, Gabriel Ilharco+9 more|arXiv (Cornell University)|Sep 4, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 WiSE-FT，一种鲁棒的微调方法，通过线性插值零样本预训练模型与微调模型的权重，在分布偏移下显著提升性能，同时在目标分布上保持或提升准确率。该方法在五种 ImageNet 分布偏移下实现 4–6 个百分点的鲁棒性提升，在迁移学习基准上实现 0.8–3.3 个百分点的增益，且无额外推理成本。

ABSTRACT

Large pre-trained models such as CLIP or ALIGN offer consistent accuracy across a range of data distributions when performing zero-shot inference (i.e., without fine-tuning on a specific dataset). Although existing fine-tuning methods substantially improve accuracy on a given target distribution, they often reduce robustness to distribution shifts. We address this tension by introducing a simple and effective method for improving robustness while fine-tuning: ensembling the weights of the zero-shot and fine-tuned models (WiSE-FT). Compared to standard fine-tuning, WiSE-FT provides large accuracy improvements under distribution shift, while preserving high accuracy on the target distribution. On ImageNet and five derived distribution shifts, WiSE-FT improves accuracy under distribution shift by 4 to 6 percentage points (pp) over prior work while increasing ImageNet accuracy by 1.6 pp. WiSE-FT achieves similarly large robustness gains (2 to 23 pp) on a diverse set of six further distribution shifts, and accuracy gains of 0.8 to 3.3 pp compared to standard fine-tuning on seven commonly used transfer learning datasets. These improvements come at no additional computational cost during fine-tuning or inference.

研究动机与目标

• 解决标准微调中目标分布上准确率提升与分布偏移下鲁棒性下降之间的权衡问题。
• 开发一种简单而有效的方法，在保持目标分布高准确率的同时增强在分布偏移下的鲁棒性。
• 通过引入对超参数变化不敏感的方法，减少对超参数调优的依赖。
• 证明在零样本模型与微调模型之间进行权重空间集成，可实现优于标准微调的泛化性能。

提出的方法

• 该方法在目标分布上执行标准的端到端或最后一层微调，以获得微调模型。
• 然后通过使用混合系数 α ∈ [0,1] 对零样本模型和微调模型的已学习权重进行线性插值，构建权重空间集成。
• 最终模型定义为 θ_α = (1−α)θ_zero-shot + αθ_fine-tuned，其中 α 基于在目标分布上的验证性能选择。
• 该方法计算高效，除标准微调外无需额外训练或推理成本。
• 使用多种度量方法衡量零样本模型与微调模型之间的差异，包括 KL 散度、Cohen’s Kappa 补数和中心化核对齐补数（CKAC）。
• 理论分析表明，在 NTK 范畴内，权重空间集成近似于输出空间集成，从而为该方法在非凸设置下的有效性提供了理论依据。

实验结果

研究问题

• RQ1 是否可以在不牺牲零样本模型对分布偏移鲁棒性的情况下进行微调？
• RQ2 微调中超参数的选择如何影响鲁棒性？这一问题能否通过简单的插值方法缓解？
• RQ3 在零样本模型与微调模型的权重空间中进行线性插值，是否能提升在分布偏移下的泛化性能？
• RQ4 WiSE-FT 在多种分布偏移下，相较于标准微调和先前的鲁棒性方法，优势有多大？

主要发现

• 与之前工作相比，WiSE-FT 在五种 ImageNet 分布偏移（ImageNetV2、ImageNet-R、ImageNet-Sketch、ObjectNet、ImageNet-A）下，平均准确率提升了 4 至 6 个百分点。
• 在 ImageNet 基准上，WiSE-FT 相较于标准微调，准确率提升 1.6 个百分点，同时保持了鲁棒性增益。
• 在六个额外的分布偏移上，WiSE-FT 实现了 2 至 23 个百分点的鲁棒性提升。
• 在七个常见的迁移学习数据集上，WiSE-FT 相较于标准微调，准确率提升了 0.8 至 3.3 个百分点。
• 该方法对超参数选择具有鲁棒性，最佳 α 仅需基于目标分布上的性能即可确定。
• 在 NTK 范畴内，权重空间集成近似于输出空间集成，为该方法的实证成功提供了理论支持。