[论文解读] Semi-Supervised Semantic Segmentation in Earth Observation: The MiniFrance Suite, Dataset Analysis and Multi-task Network Study

Javiera Castillo-Navarro, Bertrand Le Saux+3 more|arXiv (Cornell University)|Oct 15, 2020

Remote-Sensing Image Classification参考文献 61被引用 71

一句话总结

本论文为地球观测领域的半监督语义分割引入 MiniFrance 数据集，分析数据集的代表性与外观，并研究多任务半监督网络作为基线。

ABSTRACT

The development of semi-supervised learning techniques is essential to enhance the generalization capacities of machine learning algorithms. Indeed, raw image data are abundant while labels are scarce, therefore it is crucial to leverage unlabeled inputs to build better models. The availability of large databases have been key for the development of learning algorithms with high level performance. Despite the major role of machine learning in Earth Observation to derive products such as land cover maps, datasets in the field are still limited, either because of modest surface coverage, lack of variety of scenes or restricted classes to identify. We introduce a novel large-scale dataset for semi-supervised semantic segmentation in Earth Observation, the MiniFrance suite. MiniFrance has several unprecedented properties: it is large-scale, containing over 2000 very high resolution aerial images, accounting for more than 200 billions samples (pixels); it is varied, covering 16 conurbations in France, with various climates, different landscapes, and urban as well as countryside scenes; and it is challenging, considering land use classes with high-level semantics. Nevertheless, the most distinctive quality of MiniFrance is being the only dataset in the field especially designed for semi-supervised learning: it contains labeled and unlabeled images in its training partition, which reproduces a life-like scenario. Along with this dataset, we present tools for data representativeness analysis in terms of appearance similarity and a thorough study of MiniFrance data, demonstrating that it is suitable for learning and generalizes well in a semi-supervised setting. Finally, we present semi-supervised deep architectures based on multi-task learning and the first experiments on MiniFrance.

研究动机与目标

• 介绍 MiniFrance，这是一款用于地球观测（EO）中半监督语义分割的大规模数据集。
• 分析数据的代表性和外观相似性，以定义合适的训练/测试划分。
• 提出用于 EO 分割的半监督多任务神经网络架构和损失函数，作为基线。
• 评估无标签数据如何提升泛化能力，并为未来工作提供公开基线。

提出的方法

• 描述 MiniFrance 的属性：大规模，2,121 张空撮图像，分辨率 50 cm/像素，覆盖 16 个都会区，53,000 平方公里，14 个土地利用类别。
• 开发数据代表性工具，以评估各城市之间的外观相似性和领域覆盖（CNN 特征提取、t-SNE、单类 SVM、IoU/IoT 指标）。
• 提出半监督网络架构，使其在共享参数的前提下联合优化有监督分割和无监督任务（多任务学习）。
• 将半监督损失公式化为 L(x) = Ls(phi_s(x), y) + lambda Lu(phi_u(x), x)。
• 引入 BerundaNet（早期/晚期）和 W-Net 架构，作为 EO 半监督学习的多任务基线。

实验结果

研究问题

• RQ1 在城市之间的有标签/无标签划分对于学习鲁棒的地球观测分割模型有多大代表性？
• RQ2 在多任务框架中将无标签数据与有标签数据结合，是否能提升地球观测分割的泛化？
• RQ3 在航空影像中，半监督语义分割的有效网络架构和损失形式有哪些？
• RQ4 不同地点的外观和类别分布如何影响 MiniFrance 的学习与泛化？

主要发现

• MiniFrance 是一个大规模、多样化的 EO 数据集，包含 2,121 张 RGB 图块（10,000 x 10,000 像素），分辨率为 50 cm/像素，覆盖 53,000 平方公里，涵盖 16 个都会区，具有 14 个土地利用类别。
• 数据集包含带标注和无标注的训练分区，以模拟现实的半监督学习场景，以及八城测试划分。
• 外观与类别代表性分析表明，训练城市在测试外观上具有有意义的覆盖，尽管没有一个城市可以与另一个完全等同。
• 两种分析工具（IoU 和 IoT）量化城市之间的外观相似性与覆盖范围，为半监督学习的划分设计提供指导。
• 引入 TinyMiniFrance，作为计算成本友好的子集（3,500 张图像），在保持类别比例的同时用于快速原型开发。
• 提出的 BerundaNet 和 W-Net 多任务架构及无监督损失可作为 MiniFrance 上半监督地球观测分割的基线。
• 该研究提供基线和方法工具，促进未来在地球观测数据上的半监督工作。