[论文解读] Zero-Shot Refinement of Buildings' Segmentation Models using SAM

Ali Mayladan, H.A. Nasrallah+3 more|arXiv (Cornell University)|Oct 3, 2023

Automated Road and Building ExtractionEngineering被引用 3

一句话总结

本文提出了一种零样本微调方法，通过使用预训练CNN作为提示生成器进行提示工程，利用Segment Anything Model（SAM）实现遥感影像中实例分割的构建。该方法在不进行微调的情况下，通过使用边界框提示显著提升了SAM的定位与识别能力，从而显著提高了分割精度——在分布外的WHU Buildings数据集上，IoU提升了5.47%，F1分数提高了4.81%。

ABSTRACT

Foundation models have excelled in various tasks but are often evaluated on general benchmarks. The adaptation of these models for specific domains, such as remote sensing imagery, remains an underexplored area. In remote sensing, precise building instance segmentation is vital for applications like urban planning. While Convolutional Neural Networks (CNNs) perform well, their generalization can be limited. For this aim, we present a novel approach to adapt foundation models to address existing models' generalization dropback. Among several models, our focus centers on the Segment Anything Model (SAM), a potent foundation model renowned for its prowess in class-agnostic image segmentation capabilities. We start by identifying the limitations of SAM, revealing its suboptimal performance when applied to remote sensing imagery. Moreover, SAM does not offer recognition abilities and thus fails to classify and tag localized objects. To address these limitations, we introduce different prompting strategies, including integrating a pre-trained CNN as a prompt generator. This novel approach augments SAM with recognition abilities, a first of its kind. We evaluated our method on three remote sensing datasets, including the WHU Buildings dataset, the Massachusetts Buildings dataset, and the AICrowd Mapping Challenge. For out-of-distribution performance on the WHU dataset, we achieve a 5.47\% increase in IoU and a 4.81\% improvement in F1-score. For in-distribution performance on the WHU dataset, we observe a 2.72\% and 1.58\% increase in True-Positive-IoU and True-Positive-F1 score, respectively. Our code is publicly available at this Repo (https://github.com/geoaigroup/GEOAI-ECRS2023), hoping to inspire further exploration of foundation models for domain-specific tasks within the remote sensing community.

研究动机与目标

• 为解决SAM等基础模型在遥感领域，特别是建筑物轮廓分割任务中的泛化差距问题。
• 通过集成一个预训练CNN作为提示生成器，弥补SAM在识别能力上的不足，以实现对象分类与标记。
• 探索能有效提升SAM在遥感影像上性能的提示策略，且无需微调。
• 在分布内与分布外的遥感数据集上评估该方法，验证其在不同领域间的鲁棒性。
• 提供一个公开可用的代码库，以激发后续研究将基础模型适配至特定领域的遥感任务。

提出的方法

• 使用预训练CNN从RGB卫星影像中生成分割掩码，随后利用这些掩码生成空间提示输入SAM。
• 评估多种提示策略：单点提示、负点提示、多点提示（随机与骨架基）以及边界框提示。
• 从CNN预测的掩码中提取边界框提示，并将其作为输入送入SAM以优化分割输出。
• 该方法以零样本方式运行，无需模型微调或额外标注。
• CNN生成的掩码同时提供定位与识别信号，使SAM能够更准确地分割建筑物。
• 该方法结合了CNN在特定领域的定位能力与SAM强大的零样本泛化能力，从而提升实例分割性能。

Figure 1: Input RGB image undergoes rooftop instance segmentation via the CNN model. Segmentation masks are passed to the Prompt Generator used to prompt SAM. This approach would equip SAM with recognition abilities and generate precise buildings output masks.

实验结果

研究问题

• RQ1 SAM能否在不进行微调的情况下被有效适配于遥感影像中的建筑物实例分割？
• RQ2 在遥感影像中，点提示、多点提示与边界框提示中哪一种策略能实现最高的建筑物分割精度？
• RQ3 将预训练CNN作为提示生成器是否能提升SAM在遥感数据上的识别与分割性能？
• RQ4 与基线CNN模型相比，该方法在分布外遥感数据集上的表现如何？
• RQ5 为何基于骨架的多点提示未优于随机多点提示？

主要发现

• 在分布外的WHU Buildings数据集中，边界框提示策略相比基线CNN模型，IoU提升了5.47%，F1分数提升了4.81%。
• 在WHU数据集的分布内性能上，该方法使真正例IoU提升了2.72%，真正例F1分数提升了1.58%。
• 边界框提示优于所有其他提示策略，包括单点提示、负点提示与多点提示。
• 该方法在Massachusetts Buildings与AICrowd Mapping Challenge数据集上也表现出色，TP-IoU与TP-F1均有显著提升。
• 出人意料的是，基于骨架的多点提示并未优于随机多点提示，表明在此情境下，点的分布模式对SAM性能的影响可能并不关键。
• 将预训练CNN作为提示生成器成功为SAM赋予了识别能力，使其能够准确分割并标记遥感影像中的建筑物。

(a) Single-point