[论文解读] Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning

Yanpeng Sun, Qiang Chen+8 more|arXiv (Cornell University)|Jun 13, 2022

Domain Adaptation and Few-Shot Learning被引用 26

一句话总结

SVF 仅通过 SVD 对 backbone 的奇异值进行微调，用于少样本分割，带来更好的泛化，并在 Pascal-5i 与 COCO-20i 上实现最先进的结果。

ABSTRACT

Freezing the pre-trained backbone has become a standard paradigm to avoid overfitting in few-shot segmentation. In this paper, we rethink the paradigm and explore a new regime: {\em fine-tuning a small part of parameters in the backbone}. We present a solution to overcome the overfitting problem, leading to better model generalization on learning novel classes. Our method decomposes backbone parameters into three successive matrices via the Singular Value Decomposition (SVD), then {\em only fine-tunes the singular values} and keeps others frozen. The above design allows the model to adjust feature representations on novel classes while maintaining semantic clues within the pre-trained backbone. We evaluate our {\em Singular Value Fine-tuning (SVF)} approach on various few-shot segmentation methods with different backbones. We achieve state-of-the-art results on both Pascal-5$^i$ and COCO-20$^i$ across 1-shot and 5-shot settings. Hopefully, this simple baseline will encourage researchers to rethink the role of backbone fine-tuning in few-shot settings. The source code and models will be available at https://github.com/syp2ysy/SVF.

研究动机与目标

• 重新思考在少样本分割中标准的 backbone 冻结范式，以提高对新类的泛化能力。
• 提出一个轻量级的微调方案，在不破坏预训练线索的情况下调整语义表示。
• 证明对奇异值进行微调在多种 backbone 和 FSS 方法上都能带来更好的性能。

提出的方法

• 通过奇异值分解（SVD）将预训练 backbone 权重分解为三个矩阵。
• 冻结 U 和 V 分量，只微调奇异值 S（SVF）。
• 将 S 解释为对语义线索的再加权，在保持语义线索的同时调整特征表示。
• 将 S 表达为冻结分量与可训练分量的乘积（S = S_frozen · S_trainable）以支撑微调机制。
• 将 SVF 应用于卷积层，通过重构有效的三步操作来实现：（i）在子空间降维下进行 3x3 卷积，（ii）由 S 进行缩放，（iii）再用 1x1 卷积投影回原维，从而有效创建一个小型、参数高效的微调空间。
• 在 BN 参数上冻结以避免退化，并在 PFENet 和 BAM 基线下将 SVF 与全量微调和逐层/卷积微调进行比较。

实验结果

研究问题

• RQ1 通过 SVF 微调少量 backbone 参数是否优于在少样本分割中的 backbone 冻结？
• RQ2 SVF 如何影响 Pascal-5i 和 COCO-20i 下的一-shot 和 5-shot 任务的泛化？
• RQ3 在 SVF 中哪些 backbone 层和子空间（U、S、V）对性能提升贡献最大？

主要发现

• SVF 在多种基线（PFENet、BAM）与 backbone（VGG-16、ResNet-50）的 1-shot 和 5-shot 设置下，在 Pascal-5i 与 COCO-20i 上实现了最先进的性能。
• 仅微调奇异值 S 能带来更好的泛化，并优于全 backbone 微调或部分层微调，避免过拟合。
• 微调 S 子空间（尤其是第 3 层和第 4 层）能带来最强的增益，而仅微调 U 或 V 可能降低性能。
• 使用 SVF 时应冻结 BN 层以保持稳定性和性能。
• SVF 在 FSS 场景中持续优于诸如适配器和偏置微调等参数高效调优方法。
• 视觉分析表明 SVF 将关注重点转向前景线索，降低对嘈杂背景的依赖。