[论文解读] OilSAM2: Memory-Augmented SAM2 for Scalable SAR Oil Spill Detection

Shuaiyu Chen, Ming Yin+3 more|arXiv (Cornell University)|Mar 10, 2026

Oil Spill Detection and Mitigation被引用 0

一句话总结

OilSAM2 提出一种记忆增强型 SAM2 框架，具备分层多尺度记忆库和结构–语义一致的记忆更新，以实现对无序 SAR 图像集的提示驱动分割。

ABSTRACT

Segmenting oil spills from Synthetic Aperture Radar (SAR) imagery remains challenging due to severe appearance variability, scale heterogeneity, and the absence of temporal continuity in real world monitoring scenarios. While foundation models such as Segment Anything (SAM) enable prompt driven segmentation, existing SAM based approaches operate on single images and cannot effectively reuse information across scenes. Memory augmented variants (e.g., SAM2) further assume temporal coherence, making them prone to semantic drift when applied to unordered SAR image collections. We propose OilSAM2, a memory augmented segmentation framework tailored for unordered SAR oil spill monitoring. OilSAM2 introduces a hierarchical feature aware multi scale memory bank that explicitly models texture, structure, and semantic level representations, enabling robust cross image information reuse. To mitigate memory drift, we further propose a structure semantic consistent memory update strategy that selectively refreshes memory based on semantic discrepancy and structural variation.Experiments on two public SAR oil spill datasets demonstrate that OilSAM2 achieves state of the art segmentation performance, delivering stable and accurate results under noisy SAR monitoring scenarios. The source code is available at https://github.com/Chenshuaiyu1120/OILSAM2.

研究动机与目标

• 解决在无序 SAR 图像中油污分割的挑战，油污外观和尺度可变。
• 利用记忆增强型 SAM2 框架在跨图像中复用信息，同时缓解语义漂移。
• 引入分层的纹理/结构/语义记忆库，以实现鲁棒的跨图像信息融合。
• 开发结构–语义一致的记忆更新策略，根据可靠性线索刷新记忆。

提出的方法

• 构建一个与基于 SAM2 的提示驱动分割框架匹配的分层多级记忆库（纹理、结构、语义）。
• 通过检索并对各级记忆进行加权，进行尺度自适应的记忆融合，然后融入通用表示。
• 引入结构–语义一致的记忆更新机制，根据语义和结构差异（余弦语义距离与基于梯度的结构变化）触发记忆刷新。
• 在冻结原始 SAM2 模块的同时，训练尺度适配器、记忆组件和掩码解码器。
• 在两类油污任务上使用加权二元交叉熵损失来优化分割。

Fig. 1 : Overview of the proposed OilSAM2 framework. Given an input SAR image and user prompt, hierarchical features are extracted and organized into texture-, structure-, and semantic-level representations. Each level interacts with a corresponding memory group via scale-wise attention. The retriev

实验结果

研究问题

• RQ1 与单图像 SAM 基方法相比，记忆增强分割在无序 SAR 图像上是否能改善油污边界的划分？
• RQ2 捕捉纹理、结构、语义线索的多级记忆库是否能提高对海况、斑点噪声和看似相似现象的鲁棒性？
• RQ3 在处理无序 SAR 图像集合时，结构–语义一致的记忆更新是否能降低语义漂移？

主要发现

• OilSAM2 在两个公开 SAR 油污数据集上达到最先进的性能，超越基于 SAM 的方法及其他基线。
• 在 M4D 数据集上，OilSAM2 对油污的 IoU 显著提升，并在总体 mIoU 上表现强劲。
• 在 SOS 数据集上，OilSAM2 达到最高的 mIoU，并在 PALSAR 和 Sentinel-1 模态下表现出稳健的 F1-score/召回率。
• 相比单一组件，结合多尺度记忆库与结构–语义更新在消融实验中提供更大提升。
• 该方法在多种海况下展现了更清晰的边界 delineation 和对小块碎片的检测改进。

Fig. 2 : Qualitative results of the ablation study(On SOS Dataset).