[论文解读] Satellite Image Semantic Segmentation

Éric Guérin, Killian Oechslin+2 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Image and Video Retrieval Techniques参考文献 1被引用 5

一句话总结

本文提出了一种基于Swin Transformer架构的卫星图像语义分割方法，训练数据源自IGN提供的开放法国地理数据。该模型在1000×1000像素的图像块数据集上实现了54.22%的平均交并比（mIoU），并公开发布了模型权重与数据，以支持可复现性及在新区域（如Cantal）的泛化能力。

ABSTRACT

In this paper, we propose a method for the automatic semantic segmentation of satellite images into six classes (sparse forest, dense forest, moor, herbaceous formation, building, and road). We rely on Swin Transformer architecture and build the dataset from IGN open data. We report quantitative and qualitative segmentation results on this dataset and discuss strengths and limitations. The dataset and the trained model are made publicly available.

研究动机与目标

• 通过深度学习技术，实现对卫星图像中六类地表覆盖类型（稀疏森林、密集森林、沼地、草本植被、建筑与道路）的自动化语义分割。
• 通过利用IGN开放地理数据构建新数据集，解决预标注卫星数据稀缺的问题。
• 通过从卫星图像中自动、数据驱动地生成地表覆盖标签，提升数字娱乐中虚拟世界的生成质量。
• 评估训练模型在训练域外区域（如Cantal省）的卫星图像上的泛化能力。

提出的方法

• 该方法采用Swin Transformer主干网络，结合移位窗口自注意力机制，以高效捕捉高分辨率卫星图像中的长程与局部空间依赖关系。
• 从IGN的开放数据中构建了自定义数据集，包括BD Ortho（卫星影像）、BD Foret v2（植被）和BD Topo（建筑与道路），所有数据均重采样至50厘米/像素。
• 使用GDAL的gdal_rasterize工具将基于矢量的数据集（BD Foret与BD Topo）栅格化，以与卫星影像分辨率对齐。
• 最终数据集包含来自上阿尔卑斯省的600个空间上多样化的1000×1000像素图像块（500米×500米），通过合并类别以降低复杂度并提升分割精度。
• 训练过程中应用类别权重以缓解类别不平衡问题，权重值经经验设定在0.5至1.5之间。
• 采用UPerNet解码头与Swin-Large主干网络，使用余弦学习率调度策略训练60,000轮次，并采用ImageNet-22K预训练权重。

实验结果

研究问题

• RQ1 基于Swin Transformer的模型能否在标注数据有限的情况下，对多样化的法国地理区域卫星图像实现稳健的语义分割？
• RQ2 当仅在上阿尔卑斯省数据上进行训练时，该模型在新区域（如Cantal）的泛化能力如何？
• RQ3 卫星影像与原始矢量数据之间的时间错配在多大程度上影响分割精度？
• RQ4 类别不平衡与缺失数据（黑色像素）对模型性能与训练稳定性有何影响？
• RQ5 整合多种开源地理数据集（如BD Ortho、BD Foret、BD Topo）能否生成可靠且可扩展的地表覆盖分割训练数据集？

主要发现

• 在验证集上，使用384×384裁剪尺寸与60,000轮次训练，模型实现了54.22%的平均交并比（mIoU）。
• 尽管景观与图像质量存在差异，模型在未见区域（如Cantal省）的卫星图像上仍表现出合理的泛化能力，分割结果令人满意。
• 道路分割仍具挑战性，因遮挡（如树木）导致模型即使在真实标签中存在线性特征也难以检测。
• 卫星影像与基于矢量的真实标签之间存在时间差异，导致误标现象，例如在仅有稀疏植被的区域错误标注为密集森林。
• 采用类别平衡权重显著提升了训练稳定性，并改善了密集森林与沼地等少数类别的性能表现。
• 数据集与训练模型已公开发布，支持可复现性，并推动自动化卫星图像分割领域的进一步研究。