[论文解读] Open High-Resolution Satellite Imagery: The WorldStrat Dataset -- With Application to Super-Resolution

Julien Cornebise, Ivan Oršolić+1 more|arXiv (Cornell University)|Jul 13, 2022

Advanced Image Fusion TechniquesEngineering被引用 17

一句话总结

本论文介绍了WorldStrat数据集，这是一个大规模、开放获取的高分辨率（1.5 米/像素）空中客车SPOT 6/7卫星影像集合，与多时相、低分辨率（10 米/像素）的Sentinel-2影像配对，按全球多样化的土地利用类型进行分层，包括代表性不足的人道主义地点。该数据集支持利用免费的低分辨率数据训练超分辨率模型，以生成高保真影像，同时提供开源工具和代码以确保可复现性并支持社区扩展。

ABSTRACT

Analyzing the planet at scale with satellite imagery and machine learning is a dream that has been constantly hindered by the cost of difficult-to-access highly-representative high-resolution imagery. To remediate this, we introduce here the WorldStrat dataset. The largest and most varied such publicly available dataset, at Airbus SPOT 6/7 satellites' high resolution of up to 1.5 m/pixel, empowered by European Space Agency's Phi-Lab as part of the ESA-funded QueryPlanet project, we curate nearly 10,000 sqkm of unique locations to ensure stratified representation of all types of land-use across the world: from agriculture to ice caps, from forests to multiple urbanization densities. We also enrich those with locations typically under-represented in ML datasets: sites of humanitarian interest, illegal mining sites, and settlements of persons at risk. We temporally-match each high-resolution image with multiple low-resolution images from the freely accessible lower-resolution Sentinel-2 satellites at 10 m/pixel. We accompany this dataset with an open-source Python package to: rebuild or extend the WorldStrat dataset, train and infer baseline algorithms, and learn with abundant tutorials, all compatible with the popular EO-learn toolbox. We hereby hope to foster broad-spectrum applications of ML to satellite imagery, and possibly develop from free public low-resolution Sentinel2 imagery the same power of analysis allowed by costly private high-resolution imagery. We illustrate this specific point by training and releasing several highly compute-efficient baselines on the task of Multi-Frame Super-Resolution. High-resolution Airbus imagery is CC BY-NC, while the labels and Sentinel2 imagery are CC BY, and the source code and pre-trained models under BSD. The dataset is available at https://zenodo.org/record/6810791 and the software package at https://github.com/worldstrat/worldstrat .

研究动机与目标

• 解决机器学习研究中开放、高分辨率且地理分层的卫星影像稀缺的问题。
• 通过将高分辨率SPOT 6/7影像与多次重访的低分辨率Sentinel-2影像配对，支持超分辨率任务。
• 通过提供公开可访问、多样化且结构良好的数据集，支持遥感领域的广泛应用。
• 通过提供开源工具和与EO-learn兼容的预训练模型，降低卫星影像分析的入门门槛。
• 通过版本化、开放的许可证和透明的数据管理流程，促进社区驱动的数据增强和可复现研究。

提出的方法

• 在23种LCCS土地利用类别和6种IPCC类别中，整理了近10,000 km²的独特高分辨率SPOT 6/7影像，确保全球地理和土地利用多样性。
• 基于土地利用类型和城市密度（使用GHSL-SMOD）进行分层采样，包含冲突地区和非正式住区等代表性不足的地点。
• 将每幅高分辨率SPOT影像与同一时间段内多个时间对齐的Sentinel-2影像（10 米/像素）配对，以支持多帧超分辨率。
• 开发了一个开源Python包，集成EO-learn，支持数据集的重建、扩展和训练，包含教程和基线模型。
• 实现了并发布了多个计算高效的超分辨率基线模型（如Multi-Frame SRCNN、HighResNet），并在数据集上进行了训练。
• 采用Zenodo的版本化DOI托管，确保数据集发布具有持久性、可追溯性，并支持社区贡献路径。

实验结果

研究问题

• RQ1 能否创建一个大规模、开放且地理分层的高分辨率卫星影像数据集，以支持多样化的机器学习应用？
• RQ2 当与高分辨率SPOT 6/7影像配对时，多时相、低分辨率的Sentinel-2影像在支持超分辨率方面的有效性如何？
• RQ3 开源工具和社区贡献在多大程度上能提升卫星影像数据集的可扩展性和实用性？
• RQ4 与标准基准相比，基于此配对、分层数据集训练的超分辨率模型的性能特征是什么？
• RQ5 开放许可和版本化数据分发如何促进地球观测研究中的可复现性和长期可持续性？

主要发现

• WorldStrat数据集包含近10,000 km²的高分辨率卫星影像，覆盖23种LCCS土地利用类别和6种IPCC类别，具有地理分层的全球代表性。
• 该数据集包含1,150个独特的高分辨率SPOT 6/7影像场景，与多个Sentinel-2重访影像配对，支持多帧超分辨率训练。
• 作者训练并发布了多个超分辨率基线模型（如Multi-Frame SRCNN、HighResNet），在验证集上取得了具有竞争力的PSNR和SSIM得分。
• 统计分析显示，模型在验证集上的性能存在显著差异，表明仅依赖均值指标不足以进行基准评估。
• 数据集托管于Zenodo并使用版本化DOI，确保长期持久性和可追溯性，未来计划支持社区贡献和更正。
• 许可模式支持广泛再利用：高分辨率影像采用CC-BY-NC许可，Sentinel-2影像和标签采用CC-BY许可，代码和模型采用BSD许可，最大限度提升可访问性和系统集成能力。