[论文解读] Sky-image-based solar forecasting using deep learning with multi-location data: training models locally, globally or via transfer learning?

Yuhao Nie, Quentin Paletta+6 more|arXiv (Cornell University)|Nov 3, 2022

Solar Radiation and Photovoltaics被引用 9

一句话总结

本研究比较了基于天空图像的深度学习太阳能预测中局部学习、全局学习和迁移学习方法的性能。在大规模异构全球数据集上进行预训练，并在目标站点进行微调，相比从零开始本地训练，可将训练工作量减少80%，同时准确率提高1%，证明迁移学习是多地点太阳能预测中最高效且最有效的策略。

ABSTRACT

Solar forecasting from ground-based sky images has shown great promise in reducing the uncertainty in solar power generation. With more and more sky image datasets open sourced in recent years, the development of accurate and reliable deep learning-based solar forecasting methods has seen a huge growth in potential. In this study, we explore three different training strategies for solar forecasting models by leveraging three heterogeneous datasets collected globally with different climate patterns. Specifically, we compare the performance of local models trained individually based on single datasets and global models trained jointly based on the fusion of multiple datasets, and further examine the knowledge transfer from pre-trained solar forecasting models to a new dataset of interest. The results suggest that the local models work well when deployed locally, but significant errors are observed when applied offsite. The global model can adapt well to individual locations at the cost of a potential increase in training efforts. Pre-training models on a large and diversified source dataset and transferring to a target dataset generally achieves superior performance over the other two strategies. With 80% less training data, it can achieve comparable performance as the local baseline trained using the entire dataset.

研究动机与目标

• 评估使用来自多个全球位置的数据训练深度学习模型进行太阳能预测的有效性。
• 比较三种训练策略：按站点本地训练、跨站点联合全局训练，以及从预训练的全局模型进行迁移学习。
• 评估数据集异质性——特别是辐照度目标的尺度和分布差异——对模型泛化能力的影响。
• 确定在多样化源数据集上预训练的模型知识是否能提升在低数据量目标站点上的性能。
• 为利用开源天空图像数据集提供基于证据的指导，以降低训练成本并提升跨地点的预测准确率。

提出的方法

• 训练了三种深度学习模型：每个数据集一个本地模型，一个在全部三个数据集上联合训练的全局模型，以及一个在合并的全球数据集上预训练并在目标数据集上微调的迁移学习模型。
• 模型采用基于U-Net的编码器-解码器架构，并引入ConvLSTM层以实现时间建模，支持从天空图像端到端预测15分钟后的太阳辐照度。
• 对于迁移学习，评估了两种策略：冻结早期卷积块与微调所有层，后者表现更优。
• 模型训练采用10折交叉验证以确保鲁棒性，性能通过测试集上的均方根误差（RMSE）进行评估。
• 全局模型仅在源数据集上训练，并直接应用于目标测试集而无需进一步调整，以评估其泛化能力。
• 训练工作量以训练样本数与训练轮数的乘积来量化，结果以百万（M）为单位报告参数-轮次操作量。

实验结果

研究问题

• RQ1 在多地点数据上训练单一全局模型，是否相比按站点分别训练本地模型，能提升泛化能力？
• RQ2 数据集异质性——尤其是辐照度尺度和分布的差异——如何影响全局模型的性能？
• RQ3 在大规模多样化全球数据集上预训练模型，并将其迁移至新地点，是否能显著减少训练工作量，同时保持或提升准确率？
• RQ4 在低数据量场景下，最优的迁移学习策略是什么（例如，冻结早期层 vs. 微调所有层）？
• RQ5 迁移学习是否能在仅使用80%训练数据的情况下，实现与本地训练相当或更优的性能？

主要发现

• 在合并的全球数据集上预训练并在DEWA数据集上微调的迁移学习模型，相比从零开始训练的本地基线模型，预测准确率提高了1%。
• 尽管仅使用20%的训练数据，该迁移学习模型的训练工作量（以参数-轮次操作量计）相比在完整数据集上训练的本地模型减少了80%。
• 本地模型在训练所在站点表现最佳，但在其他站点部署时出现显著误差，表明其因依赖位置特异性回归函数而泛化能力差。
• 全局模型展现出强大的泛化能力，在单个站点上的表现优于本地模型，尽管训练工作量更高。
• 最佳迁移学习策略为微调所有层，优于冻结早期卷积块的方法。
• 结果表明，在大规模多样化全球数据集上进行预训练，可实现在新地点高效且准确的太阳能预测，尤其适用于数据有限的场景。