[论文解读] Promptable Foundation Models for SAR Remote Sensing: Adapting the Segment Anything Model for Snow Avalanche Segmentation

Riccardo Gelato, Carlo Sgaravatti+3 more|arXiv (Cornell University)|Jan 3, 2026

Cryospheric studies and observations被引用 0

一句话总结

该论文通过使用适配器、多编码器输入处理、鲁棒的 BB 提示以及高效的训练方案，将 Segment Anything Model (SAM) 应用于基于 SAR 的雪崩分割，从而提升标注速度和分割鲁棒性。

ABSTRACT

Remote sensing solutions for avalanche segmentation and mapping are key to supporting risk forecasting and mitigation in mountain regions. Synthetic Aperture Radar (SAR) imagery from Sentinel-1 can be effectively used for this task, but training an effective detection model requires gathering a large dataset with high-quality annotations from domain experts, which is prohibitively time-consuming. In this work, we aim to facilitate and accelerate the annotation of SAR images for avalanche mapping. We build on the Segment Anything Model (SAM), a segmentation foundation model trained on natural images, and tailor it to Sentinel-1 SAR data. Adapting SAM to our use-case requires addressing several domain-specific challenges: (i) domain mismatch, since SAM was not trained on satellite/SAR imagery; (ii) input adaptation, because SAR products typically provide more than three channels, while SAM is constrained to RGB images; (iii) robustness to imprecise prompts that can affect target identification and degrade the segmentation quality, an issue exacerbated in small, low-contrast avalanches; and (iv) training efficiency, since standard fine-tuning is computationally demanding for SAM. We tackle these challenges through a combination of adapters to mitigate the domain gap, multiple encoders to handle multi-channel SAR inputs, prompt-engineering strategies to improve avalanche localization accuracy, and a training algorithm that limits the training time of the encoder, which is recognized as the major bottleneck. We integrate the resulting model into an annotation tool and show experimentally that it speeds up the annotation of SAR images.

研究动机与目标

• 解决自然图像与 SAR 数据在雪崩分割中的领域偏移。
• 开发一个轻量级的领域自适应工作流，仅重新训练 SAM 参数中的一小部分。
• 在不改变原始 SAM 解码器架构的情况下，实现对多通道 SAR 输入的处理。
• 通过提示工程和训练策略，提升对不精准提示和小型雪崩目标的鲁棒性。
• 通过将模型整合到半自动 SAR 注释工具中，展示实际收益以加速标注。

提出的方法

• 在每个 ViT 块中嵌入的 Adapter 上对 SAM 进行微调，以实现大约 7M 可训练参数的图像编码器自适应（约占编码器的 10%），同时保持解码器用于二值雪崩分割的微调。
• 在雪崩掩膜上训练解码器，以保持基于提示的分割能力。
• 实现多编码器设置，通过主编码器（[VV0, VV1, DEM]）和辅助编码器（[VH0, VH1, SA]）处理六个与 SAR 相关的通道，并对齐到主解码器的空间。
• 应用增强鲁棒性的 BB（边界框）提示策略，包括最小外接框、随机 BB 扰动、合并重叠框等。
• 引入资源优化的训练流水线，重复利用图像嵌入，使解码器可并行处理多提示，从而显著缩短训练时间。
• 采用三阶段训练程序：阶段 1 使用主模态进行领域自适应，阶段 2 使用冻结解码器对第二模态进行对齐，阶段 3 通过选择性融合门（SFG）对嵌入进行融合。
• 使用 Dice 损失来解决类别不平衡，并用固定概率阈值进行最终二值化，辅以数据增强以对抗 speckle 噪声和过拟合。

实验结果

研究问题

• RQ1 能否使用一个小型、领域特定的基于适配器的微调策略，将 SAM 有效适配到 SAR 雪崩分割？
• RQ2 多编码器输入结构是否通过利用互补的 SAR 通道与地形数据来提升分割？
• RQ3 基于 BB 的提示策略及鲁棒性增强在提示错误和小型雪崩的情况下，是否能维持或提升分割性能？
• RQ4 复用图像嵌入的资源高效训练是否在不牺牲收敛性或准确性的前提下实现实用的加速？
• RQ5 将改装后的 SAM 集成到半自动注释工具中，是否能加速 SAR 雪崩注释工作流程？

主要发现

• 以 Adapters 为基础的编码器微调结合解码器微调，在雪崩类别上实现竞争性的 IoU，但可训练参数显著少于全面微调（约 7M）。
• 两编码器（多通道）设计，结合监督嵌入对齐和选择性融合门，通过利用互补的 SAR 通道提升分割。
• 使用增强 BB 提示的提示鲁棒性策略降低对提示精度的敏感性，并实现对全图提示的提示自由分割。
• 通过共享图像嵌入实现的资源优化，将训练时间降低约 63%，同时保持收敛行为。
• 整合工具支持半自动注释，显著加速了 SAR 图像中雪崩掩膜的创建。