[论文解读] SeasoNet: A Seasonal Scene Classification, segmentation and Retrieval dataset for satellite Imagery over Germany

Dominik Koßmann, Viktor Brack+1 more|arXiv (Cornell University)|Jul 19, 2022

Remote-Sensing Image Classification被引用 5

一句话总结

SeasoNet 引入了一个大规模、多光谱的遥感数据集，包含 176 万个来自德国的 Sentinel-2 图像块（120×120 像素），覆盖四个季节及一个降雪季节，基于德国 LBM-DE2018 模型，以高分辨率像素级地表覆盖标签（最小制图单元 5 公顷）进行标注。该数据集支持先进的场景分类、语义分割和跨季节图像检索任务，基线结果表明使用 DenseNet121 和 DeepLabV3 模型表现优异，但小目标检测仍具挑战性。

ABSTRACT

This work presents SeasoNet, a new large-scale multi-label land cover and land use scene understanding dataset. It includes $1\,759\,830$ images from Sentinel-2 tiles, with 12 spectral bands and patch sizes of up to $ 120 \ \mathrm{px} imes 120 \ \mathrm{px}$. Each image is annotated with large scale pixel level labels from the German land cover model LBM-DE2018 with land cover classes based on the CORINE Land Cover database (CLC) 2018 and a five times smaller minimum mapping unit (MMU) than the original CLC maps. We provide pixel synchronous examples from all four seasons, plus an additional snowy set. These properties make SeasoNet the currently most versatile and biggest remote sensing scene understanding dataset with possible applications ranging from scene classification over land cover mapping to content-based cross season image retrieval and self-supervised feature learning. We provide baseline results by evaluating state-of-the-art deep networks on the new dataset in scene classification and semantic segmentation scenarios.

研究动机与目标

• 为地表覆盖与土地利用分析解决大规模、多季节、像素级标注的遥感数据集在高空间分辨率方面的缺乏问题。
• 在季节性域偏移条件下，实现对深度学习模型在场景分类、语义分割和跨季节图像检索任务中性能的稳健评估。
• 通过提供一致的季节性和光谱数据，支持自监督和迁移学习，构建一个多样化、大规模的基准测试集。
• 通过设定区域大小阈值的标准化评估协议，提升对少数类和小规模地表覆盖类别的性能表现。
• 建立一个公开基准，包含官方的训练/验证/测试划分和评估指标，以确保遥感研究中的可重现性和可比性。

提出的方法

• 该数据集包含 1,759,830 个来自德国的 Sentinel-2 图像块（120×120 像素），覆盖全部四个季节及一个降雪季节，其像素级标注基于 LBM-DE2018 地表覆盖模型。
• 标注基于 CORINE 地表覆盖 2018 年分类体系，但分辨率较原始 CLC 数据库提高 5 倍（最小制图单元 5 公顷），有效减少小目标的遗漏。
• 数据集包含两个网格上的官方训练/验证/测试划分，以防止数据泄露并确保评估一致性。
• 定义了三种区域大小阈值——困难（0 像素）、中等（100 像素）和简单（300 像素），以控制训练和评估中包含小区域（可能含噪声）的情况。
• 基线模型采用 DenseNet121 进行多标签分类，DeepLabV3 进行语义分割，分别使用二元交叉熵损失函数和交叉熵损失函数。
• 所有光谱波段均上采样至最大图像块分辨率，以在训练过程中保留多光谱信息。

实验结果

研究问题

• RQ1 在大规模、多季节、高分辨率遥感数据集（像素级标注）上，最先进深度学习模型的性能如何？
• RQ2 包含季节性和降雪变化是否能显著提升遥感模型在域偏移下的泛化能力？
• RQ3 不同区域大小阈值（0、100、300 像素）对小规模和少数类地表覆盖类别在语义分割和分类模型性能上的影响如何？
• RQ4 SeasoNet 是否可作为遥感应用中可行的预训练或自监督学习基准？
• RQ5 在不同地表覆盖类别上，基于 SeasoNet 微调的模型与 ImageNet 预训练模型相比，其 F1 分数和 mIoU 表现如何？

主要发现

• DenseNet121 在困难阈值（包含所有区域）下的 F1-macro 得分为 60.02，表明其在多样化地表覆盖类别上具备出色的总体分类性能。
• DeepLabV3 在困难阈值下的 mIoU 得分为 47.53，显示出中等水平的分割性能；然而，在小于 300 像素的区域上，mIoU 显著下降至 15.98，凸显小目标检测的挑战。
• ImageNet 预训练模型的性能略优于非预训练模型，但差距有限，表明域偏移问题仍是主要挑战。
• 中等阈值（100 像素）下，F1-macro 达到最高值 61.48，mIoU 达到 47.78，表明在小区域噪声与有意义分割之间实现了最佳平衡。
• 在小于 100 像素的区域上，性能显著下降（mIoU 为 10.07），证实小而零散的地表覆盖特征仍是当前模型的主要难题。
• 该数据集的官方评估协议（包含标准化划分和阈值）可实现可靠、可重现的基准测试，为未来遥感研究提供支持。