[论文解读] Open-Source Ground-based Sky Image Datasets for Very Short-term Solar Forecasting, Cloud Analysis and Modeling: A Comprehensive Survey

Yuhao Nie, Xiatong Li+4 more|arXiv (Cornell University)|Nov 27, 2022

Solar Radiation and Photovoltaics被引用 4

一句话总结

本文全面调研了72个开源地基天空图像数据集，涵盖超短期太阳辐射预测、云层分析与建模。提出了一套基于八个维度的多准则评分体系，用于评估数据集的适用性，帮助研究人员为深度学习在太阳辐照度预测、云层分割、分类及运动估计中的应用选择最优数据。

ABSTRACT

Sky-image-based solar forecasting using deep learning has been recognized as a promising approach in reducing the uncertainty in solar power generation. However, one of the biggest challenges is the lack of massive and diversified sky image samples. In this study, we present a comprehensive survey of open-source ground-based sky image datasets for very short-term solar forecasting (i.e., forecasting horizon less than 30 minutes), as well as related research areas which can potentially help improve solar forecasting methods, including cloud segmentation, cloud classification and cloud motion prediction. We first identify 72 open-source sky image datasets that satisfy the needs of machine/deep learning. Then a database of information about various aspects of the identified datasets is constructed. To evaluate each surveyed datasets, we further develop a multi-criteria ranking system based on 8 dimensions of the datasets which could have important impacts on usage of the data. Finally, we provide insights on the usage of these datasets for different applications. We hope this paper can provide an overview for researchers who are looking for datasets for very short-term solar forecasting and related areas.

研究动机与目标

• 识别并编目适用于机器学习与深度学习在太阳辐射预测中应用的开源地基天空图像数据集。
• 通过整合全球范围内的全面数据集清单，解决超短期太阳辐射预测中数据稀缺与多样性不足的关键挑战。
• 开发一个多准则评估框架，根据影响模型性能与可用性的因素对数据集进行排名。
• 为研究人员提供切实可行的洞察与数据访问路径，以选择适用于云层分割、分类、运动预测及太阳辐照度预测的合适数据集。

提出的方法

• 系统性地从不同地理与气候区域搜集并收集了72个开源天空图像数据集，重点关注地基全天空成像仪（ASIs）与天空偏振成像（SPIs）。
• 构建了一个详细的数据库，涵盖八个维度的元数据：地理位置、时间与空间分辨率、图像格式、云标注类型、图像数量、图像尺寸、时间覆盖范围以及数据访问方式。
• 设计了一套多准则评分体系，基于八个评估维度（如图像分辨率、时间频率、云标注质量与数据可访问性）对数据集进行评分，以满足不同应用需求。
• 根据数据集在超短期太阳辐射预测、云层分割、云分类与云运动预测等特定任务中的适用性进行评估。
• 为每个数据集提供直接访问链接与使用指南，以促进其在深度学习与计算机视觉研究中的应用。
• 根据主要应用方向（如太阳辐射预测、云层分析）对数据集进行分类，并与已发表的研究进行交叉引用，以验证其在实际研究中的使用情况。

实验结果

研究问题

• RQ1 哪些开源地基天空图像数据集最适用于超短期太阳辐射预测（预测时延 <30分钟）？
• RQ2 不同数据集特性（如图像分辨率、时间频率与云标注质量）如何影响深度学习模型在太阳辐照度预测中的性能？
• RQ3 近期基于天空图像进行云层分割、分类与运动预测研究中最常使用的数据集有哪些？
• RQ4 现有数据集的地理与气候分布如何影响太阳辐射预测模型的泛化能力？
• RQ5 研究人员在选择天空图像数据集用于太阳能源预测或云建模特定应用时，应优先考虑哪些标准？

主要发现

• 共识别并编目了72个开源地基天空图像数据集，覆盖全球多样化的气候区与地理区域。
• 该数据集数据库包含八个维度的全面元数据，支持针对特定研究需求的系统性比较与选择。
• 多准则评分体系成功识别出各应用领域的高性能数据集，其中SRRL-BMS、SIRTA、ARM-SGP与SKIPP’D在太阳辐射预测中表现优异，排名靠前。
• 云分类数据集如MGCD、GRSCD与WMD具有高质量标注，采用世界气象组织（WMO）云类型标签，标注级别为图像或像素级。
• 本调研发现，19个数据集被用于140余项已发表研究，证实其在推动太阳辐射预测与云建模研究中的积极作用。
• 尽管数据集数量丰富，但在热带与干旱气候区域的覆盖仍存在显著空白，凸显了进一步开展多样化数据采集的迫切需求。