[论文解读] RSI-CB: A Large Scale Remote Sensing Image Classification Benchmark via Crowdsource Data

Haifeng Li, Dou, Xin+6 more|arXiv (Cornell University)|May 30, 2017

Remote-Sensing Image Classification参考文献 50被引用 80

一句话总结

RSI-CB 构建一个全球性、规模庞大的遥感影像分类基准，利用众包注释（OSM）实现多尺寸数据集以评估 DCNN。它提供两个带有分层地物类别的带标签子数据集。

ABSTRACT

In recent years, deep convolutional neural network (DCNN) has seen a breakthrough progress in natural image recognition because of three points: universal approximation ability via DCNN, large-scale database (such as ImageNet), and supercomputing ability powered by GPU. The remote sensing field is still lacking a large-scale benchmark compared to ImageNet and Place2. In this paper, we propose a remote sensing image classification benchmark (RSI-CB) based on massive, scalable, and diverse crowdsource data. Using crowdsource data, such as Open Street Map (OSM) data, ground objects in remote sensing images can be annotated effectively by points of interest, vector data from OSM, or other crowdsource data. The annotated images can be used in remote sensing image classification tasks. Based on this method, we construct a worldwide large-scale benchmark for remote sensing image classification. This benchmark has two sub-datasets with 256 by 256 and 128 by 128 sizes because different DCNNs require different image sizes. The former contains 6 categories with 35 subclasses of more than 24,000 images. The latter contains 6 categories with 45 subclasses of more than 36,000 images. This classification system of ground objects is defined according to the national standard of land-use classification in China and is inspired by the hierarchy mechanism of ImageNet. Finally, we conduct many experiments to compare RSI-CB with the SAT-4, SAT-6, and UC-Merced datasets on handcrafted features, such as scale-invariant feature transform, color histogram, local binary patterns, and GIST, and classical DCNN models, such as AlexNet, VGGNet, GoogLeNet, and ResNet.

研究动机与目标

• 推动需要一个可与 ImageNet/Place2 相媲美的规模化、多样化遥感基准的必要性。
• 利用众包数据（如 Open Street Map）来注释遥感影像中的地物。
• 构建两个具有分层类别结构的可扩展影像尺寸数据集，用于评估 DCNN。
• 提供与传统手工特征和标准 DCNN 模型的基线对比。
• 实现跨多种网络架构和输入分辨率的评估。

提出的方法

• 利用众包数据（OSM 和矢量数据）通过兴趣点来标注遥感影像。
• 创建两个子数据集，尺寸为 256x256 和 128x128，以满足不同 DCNN 输入需求。
• 定义受国家土地利用标准（中国）启发的地物类别体系，以及类似于 ImageNet 的分层方案。
• 进行将 RSI-CB 与现有遥感数据集（SAT-4、SAT-6、UC-Merced）在手工特征和经典 DCNN（AlexNet、VGGNet、GoogLeNet、ResNet）上的对比实验。
• 提供基线分类性能观察，以确立基准的可行性。

实验结果

研究问题

• RQ1 如何有效地利用众包数据来注释大规模遥感影像以进行分类？
• RQ2 为 RS 创建分层、国家标准地物分类法的特征与挑战是什么？
• RQ3 与现有 RS 数据集相比，RSI-CB 作为基准在使用手工特征和标准 DCNN 时的表现如何？
• RQ4 图像尺寸（256x256 与 128x128）对 RS 分类中 DCNN 的性能有何影响？
• RQ5 众包标注的 RS 数据集是否能在 AlexNet、VGGNet、GoogLeNet、ResNet 等架构之间提供公平的跨模型基准？

主要发现

• RSI-CB 提供两个具有不同图像尺寸和分层类别结构的大规模 RS 数据集。
• 256x256 数据集包含 6 类、35 个子类以及超过 24,000 张图像；128x128 数据集包含 6 类、45 个子类以及超过 36,000 张图像。
• 基线实验使用手工特征和经典 DCNN（AlexNet、VGGNet、GoogLeNet、ResNet）对 RSI-CB 与 SAT-4、SAT-6、UC-Merced 进行比较。
• 该工作证明了基于众包注释来大规模构建 RS 基准的可行性。
• 数据集构建符合国家土地利用分类标准，并采用受 ImageNet 启发的分层结构以实现广泛适用性。