[论文解读] SAM-PARSER: Fine-tuning SAM Efficiently by Parameter Space Reconstruction

Zelin Peng, Zhengqin Xu+3 more|arXiv (Cornell University)|Aug 28, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出 SAM-PARSER，一种针对 Segment Anything Model (SAM) 的参数高效微调方法，通过奇异值分解（SVD）重构下游任务特定的参数空间，实现几乎零额外可训练参数的微调。该方法在自然图像、遥感图像和医学图像数据集上均实现了最先进（SOTA）的分割性能，同时相比现有方法将可训练参数减少了约 290 倍。

ABSTRACT

Segment Anything Model (SAM) has received remarkable attention as it offers a powerful and versatile solution for object segmentation in images. However, fine-tuning SAM for downstream segmentation tasks under different scenarios remains a challenge, as the varied characteristics of different scenarios naturally requires diverse model parameter spaces. Most existing fine-tuning methods attempt to bridge the gaps among different scenarios by introducing a set of new parameters to modify SAM's original parameter space. Unlike these works, in this paper, we propose fine-tuning SAM efficiently by parameter space reconstruction (SAM-PARSER), which introduce nearly zero trainable parameters during fine-tuning. In SAM-PARSER, we assume that SAM's original parameter space is relatively complete, so that its bases are able to reconstruct the parameter space of a new scenario. We obtain the bases by matrix decomposition, and fine-tuning the coefficients to reconstruct the parameter space tailored to the new scenario by an optimal linear combination of the bases. Experimental results show that SAM-PARSER exhibits superior segmentation performance across various scenarios, while reducing the number of trainable parameters by $\approx 290$ times compared with current parameter-efficient fine-tuning methods.

研究动机与目标

• 为解决在多样化下游分割场景中对 SAM 进行微调时参数更新量最小化的挑战。
• 在保持或提升分割性能的同时，减少 SAM 微调中的可训练参数数量。
• 探究 SAM 原始参数空间是否足够完整，能够通过线性组合重构新任务特定的参数空间，而无需引入新参数。
• 开发一种不添加新可训练头或适配器的方法，而是依赖分解基向量的系数微调。

提出的方法

• 该方法对 SAM 的卷积编码器权重执行奇异值分解（SVD），以提取正交基向量及其关联的系数。
• 假设原始参数空间足够完整，可通过这些基向量的线性组合重构新的任务特定参数空间。
• 仅对 SVD 系数进行微调，从而实现几乎零新增可训练参数。
• 该方法仅聚焦于 SAM 编码器的卷积层，而非 Transformer 层，以最小化参数开销。
• 通过微调系数以匹配目标场景的参数空间，学习最优的基向量线性组合。
• 该方法应用于三种不同场景：自然图像分割、遥感图像分割和医学图像分割。

实验结果

研究问题

• RQ1 SAM 的原始参数空间是否足够完整，能够无需引入新参数即可重构以适应新下游分割任务？
• RQ2 基于 SVD 的系数微调实现的参数空间重构，与 LoRA 和 Adapter 等现有参数高效方法相比，在分割性能和参数效率方面表现如何？
• RQ3 SAM 原始参数空间的完备性假设在哪些场景下会失效，以及如何缓解？
• RQ4 仅对卷积编码器层进行微调是否比微调整个模型或 Transformer 组件更高效且性能更优？

主要发现

• SAM-PARSER 相比 LoRA（一种领先的参数高效方法）将可训练参数数量减少了约 290 倍。
• 在 PASCAL VOC2012 数据集上，SAM-PARSER 实现 mIoU 86.7%，优于基线模型和 LoRA。
• 在 NWPU VHR-10 遥感图像数据集上，SAM-PARSER 相比基线模型将 mIoU 提升了 1.3 个百分点。
• 在 CT 腹部器官测试集上，SAM-PARSER 实现 DSC 91.1%，优于 LoRA 的 90.3%，提升 0.8 个百分点。
• 在 SSDD 雷达图像数据集的一个失败案例中，SAM-PARSER 表现劣于 LoRA 和 Adapter，表明当新领域与 SAM 的预训练分布差异过大时存在局限性。
• 定性结果表明，SAM-PARSER 在多样化场景下生成的分割掩码比 LoRA 和 Adapter 更准确且更一致。