[论文解读] Segmentation of Satellite Imagery using U-Net Models for Land Cover Classification

Priit Ulmas, Innar Liiv|arXiv (Cornell University)|Mar 5, 2020

Remote-Sensing Image Classification参考文献 19被引用 59

一句话总结

本研究在 BigEarthNet 上训练基于 ResNet50 的土地覆被分类器，然后将其权重用作修改后的 U-Net 的预训练编码器，以从 Sentinel-2 图像生成像元级土地覆被图，在 CORINE 各等级上实现较强的 F1 和分割精度。

ABSTRACT

The focus of this paper is using a convolutional machine learning model with a modified U-Net structure for creating land cover classification mapping based on satellite imagery. The aim of the research is to train and test convolutional models for automatic land cover mapping and to assess their usability in increasing land cover mapping accuracy and change detection. To solve these tasks, authors prepared a dataset and trained machine learning models for land cover classification and semantic segmentation from satellite images. The results were analysed on three different land classification levels. BigEarthNet satellite image archive was selected for the research as one of two main datasets. This novel and recent dataset was published in 2019 and includes Sentinel-2 satellite photos from 10 European countries made in 2017 and 2018. As a second dataset the authors composed an original set containing a Sentinel-2 image and a CORINE land cover map of Estonia. The developed classification model shows a high overall F extsubscript{1} score of 0.749 on multiclass land cover classification with 43 possible image labels. The model also highlights noisy data in the BigEarthNet dataset, where images seem to have incorrect labels. The segmentation models offer a solution for generating automatic land cover mappings based on Sentinel-2 satellite images and show a high IoU score for land cover classes such as forests, inland waters and arable land. The models show a capability of increasing the accuracy of existing land classification maps and in land cover change detection.

研究动机与目标

• 推动基于卫星图像的自动化像元级土地覆被制图，以支持环境监测与变化检测。
• 使用 BigEarthNet 构建大规模分类模型，以学习卫星图像特征。
• 通过将分类模型用作修改后的 U-Net 的编码器来实现分割，从而利用迁移学习。
• 在基于 CORINE 的数据集上评估分割性能并分析数据噪声的影响。

提出的方法

• 使用在 ImageNet 上预训练的 ResNet50，通过 BigEarthNet 数据对三个位居覆被等级进行分类。
• 分两个阶段训练分类模型（先冻结再解冻），总共 15 个 epoch。
• 采用将编码器设为预训练的 ResNet50 分类器的修改后 U-Net；在较小的 CORINE+Sentinel-2 分割数据集上训练。
• 数据集按 80/20 的训练/验证比例划分；分步训练分割，先训练解码器，然后对整个网络进行微调。
• 使用分类的 Exact Match Ratio、Precision、Recall、F1，以及分割的整体准确度和 Jaccard 进行评估。

实验结果

研究问题

• RQ1 能否将在 BigEarthNet 上训练的大规模卫星图像分类器有效迁移到基于 CORINE 的数据集上的像元级土地覆被分割？
• RQ2 在使用预训练编码器的 U-Net 架构时，分割性能在 CORINE 分类等级（等级 1–3）上如何变化？
• RQ3 数据噪声和标签精度（BigEarthNet 与 CORINE）对分类和分割结果的影响是什么？

主要发现

• 分类在总体 F1 上实现高分：Level 1 F1 = 0.920，Level 2 F1 = 0.823，Level 3 F1 = 0.749。
• Exact match 比例下降随着等级复杂度增加：Level 1 MR = 75.3%，Level 2 MR = 45.9%，Level 3 MR = 33.1%。
• 分割在 Level 1 的准确率较高，为 91.4%，并逐级下降至 Level 2 的 75.8% 和 Level 3 的 59.7%。
• 按类别的结果显示森林、农业用地和水体的性能最强，在更高等级下湿地和工业区的性能较弱。
• 分析显示 BigEarthNet 与 CORINE 数据中的标签噪声导致分割/分类错误；类别之间的视觉区分也影响性能。