[论文解读] PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images

Nanqing Liu, Xun Xu+3 more|arXiv (Cornell University)|Sep 20, 2024

Big Data and Business Intelligence被引用 4

一句话总结

本文提出 PointSAM，一种针对遥感图像（RSIs）的点监督微调方法，基于 Segment Anything Model（SAM）并采用自训练框架，结合基于原型的正则化与负提示校准，以缓解误差累积与密集目标干扰问题。该方法仅使用点标注即在 NWPU VHR-10、HRSID 和 WHU 数据集上达到最先进性能，优于 SAM、SAM2 及先前的弱监督方法。

ABSTRACT

Segment Anything Model (SAM) is an advanced foundational model for image segmentation, which is gradually being applied to remote sensing images (RSIs). Due to the domain gap between RSIs and natural images, traditional methods typically use SAM as a source pre-trained model and fine-tune it with fully supervised masks. Unlike these methods, our work focuses on fine-tuning SAM using more convenient and challenging point annotations. Leveraging SAM's zero-shot capabilities, we adopt a self-training framework that iteratively generates pseudo-labels for training. However, if the pseudo-labels contain noisy labels, there is a risk of error accumulation. To address this issue, we extract target prototypes from the target dataset and use the Hungarian algorithm to match them with prediction prototypes, preventing the model from learning in the wrong direction. Additionally, due to the complex backgrounds and dense distribution of objects in RSI, using point prompts may result in multiple objects being recognized as one. To solve this problem, we propose a negative prompt calibration method based on the non-overlapping nature of instance masks. In brief, we use the prompts of overlapping masks as corresponding negative signals, resulting in refined masks. Combining the above methods, we propose a novel Pointly-supervised Segment Anything Model named PointSAM. We conduct experiments on RSI datasets, including WHU, HRSID, and NWPU VHR-10, and the results show that our method significantly outperforms direct testing with SAM, SAM2, and other comparison methods. Furthermore, we introduce PointSAM as a point-to-box converter and achieve encouraging results, suggesting that this method can be extended to other point-supervised tasks. The code is available at https://github.com/Lans1ng/PointSAM.

研究动机与目标

• 为缓解自然图像与遥感图像（RSIs）之间的域差距，其中 SAM 因分布外物体与复杂背景导致零样本性能下降。
• 实现仅使用点标注对 SAM 进行有效微调——相比完整掩码或框标注更经济且可扩展，同时避免自训练中的误差累积问题。
• 解决在密集、杂乱的 RSIs 中，点提示易导致多个目标被合并为单一掩码的挑战。
• 开发一种在弱监督语义分割中具有良好泛化能力的方法，并可拓展至其他任务（如点到框检测）。

提出的方法

• 采用自训练框架，模型从弱增强输入中生成伪标签，实现无需全监督的迭代优化。
• 引入基于原型的正则化：从数据集中提取目标特定原型，并使用匈牙利算法将预测原型与之匹配，以稳定训练并减少误差累积。
• 提出负提示校准：利用重叠掩码预测作为负信号，以优化分割结果，利用 RSIs 中实例掩码非重叠的特性。
• 采用双分支网络结构，结合弱增强与强增强，生成一致预测，提升自训练过程中的鲁棒性。
• 使用点到框转换流程：从点提示生成掩码，计算最小包围矩形以生成水平边界框，并将其输入旋转检测器。
• 采用 ResNet-50 作为骨干网络，在 HRSID 数据集上以 800×800 输入尺寸训练 12 个周期，用于评估检测性能。

实验结果

研究问题

• RQ1 自训练框架能否在仅使用点标注、且伪标签存在噪声的情况下，有效微调 SAM 用于遥感图像分割？
• RQ2 基于原型的正则化在域偏移分割任务中，如何提升训练稳定性并减少自训练过程中的误差累积？
• RQ3 负提示校准能否有效分离原本在点提示下被合并的密集分布目标（如近岸场景中的船只、带阴影的储罐）？
• RQ4 PointSAM 在多大程度上可作为点到框生成器用于定向目标检测？其性能与全监督基线相比如何？

主要发现

• PointSAM 在三个基准遥感图像数据集（NWPU VHR-10、HRSID 和 WHU）上均达到最先进性能，超越原始 SAM、SAM2 及先前弱监督方法（如 WeSAM 和 DePT）。
• 在 HRSID 数据集上，PointSAM + H2RBox-v2 实现 68.9% 召回率与 59.5% AP50，较原始 SAM 提升 15%，且优于 Point2RBox 在点监督检测中的表现。
• 基于原型的正则化显著减少误差累积，表现为在各类 RSI 场景中，掩码预测更准确且更稳定。
• 负提示校准能有效分离相邻或重叠目标，如近岸场景中的船只及带阴影的储罐，而其他方法难以区分。
• 该方法展现出强大泛化能力：即使仅使用点监督，也能生成接近真实标注的掩码，尤其在密集复杂场景中表现优异。
• 点到框转换流程实现了高效的点监督定向目标检测，性能接近 HBB 监督方法，但与 OBB 监督基线相比仍存在约 20% 的差距。