[论文解读] Wind energy forecasting with missing values within a fully conditional specification framework

Honglin Wen, Pierre Pinson+2 more|arXiv (Cornell University)|Mar 15, 2022

Energy Load and Power Forecasting参考文献 33被引用 4

一句话总结

本文提出了一种基于完全条件规格（FCS）的通用插补框架，用于风力发电预测，该框架在模型估计和实际预测阶段同时处理缺失的输入特征和目标变量。通过在缺失数据随机（MAR）假设下将预测问题视为联合插补与预测问题，该方法在概率预测中表现优于标准的'先插补后预测'方法，同时在各阶段保持一致性并降低过拟合风险。

ABSTRACT

Wind power forecasting is essential to power system operation and electricity markets. As abundant data became available thanks to the deployment of measurement infrastructures and the democratization of meteorological modelling, extensive data-driven approaches have been developed within both point and probabilistic forecasting frameworks. These models usually assume that the dataset at hand is complete and overlook missing value issues that often occur in practice. In contrast to that common approach, we rigorously consider here the wind power forecasting problem in the presence of missing values, by jointly accommodating imputation and forecasting tasks. Our approach allows inferring the joint distribution of input features and target variables at the model estimation stage based on incomplete observations only. We place emphasis on a fully conditional specification method owing to its desirable properties, e.g., being assumption-free when it comes to these joint distributions. Then, at the operational forecasting stage, with available features at hand, one can issue forecasts by implicitly imputing all missing entries. The approach is applicable to both point and probabilistic forecasting, while yielding competitive forecast quality within both simulation and real-world case studies. It confirms that by using a powerful universal imputation method like fully conditional specification, the proposed approach is superior to the common approach, especially in the context of probabilistic forecasting.

研究动机与目标

• 为解决风力发电预测数据集中普遍存在的缺失值问题，该问题通常导致数据丢失和预测性能下降。
• 开发一种一致的预测框架，联合建模插补与预测，避免模型估计与实际预测阶段之间的不一致。
• 在不同缺失数据率下，评估所提方法在点预测与概率预测设置中的性能表现。
• 将基于FCS的方法与传统的'先插补后预测'策略进行比较，尤其关注预测准确性和鲁棒性。
• 评估该方法在维度增加时的计算可行性与可扩展性。

提出的方法

• 该方法采用基于完全条件规格（FCS）的多重插补，通过顺序迭代的方式建模每个变量给定其他所有变量的条件分布。
• 在模型估计阶段，基于缺失数据随机（MAR）假设，仅使用观测数据估计参数，无需完整案例。
• 在实际预测阶段，将输入特征和目标变量均视为缺失，并使用学习到的条件模型进行迭代插补。
• 该方法通过从输入与目标的联合分布中生成多个插补实现，自然支持概率预测。
• 该框架适用于点预测与概率预测，且与多种基线模型兼容，包括分位数回归和深度学习模型。
• 该方法通过确保推理阶段的插补与训练阶段的联合建模保持一致，避免了'先插补后预测'方法的不一致性。

实验结果

研究问题

• RQ1 在存在缺失数据的情况下，所提出的基于FCS的通用插补框架与标准的'先插补后预测'方法相比，预测准确性如何？
• RQ2 与顺序插补和预测相比，联合建模插补与预测是否能提升概率预测的质量？
• RQ3 该方法在缺失数据存在的情况下，能在多大程度上缓解过拟合？
• RQ4 随着缺失数据率的增加，预测性能如何退化？在这些条件下，FCS方法的表现如何？
• RQ5 基于FCS的方法的计算成本是多少？其能否扩展到高维风力发电数据集？

主要发现

• FCS方法在点预测与概率预测中均优于'先插补后预测'方法，尤其在概率预测设置中优势更为显著。
• 通过在变量间共享信息，并保持模型估计与实际预测阶段的一致性，该方法降低了过拟合风险。
• 随着缺失数据率的增加，预测质量会下降，但FCS方法在所有测试的缺失率下均保持更优性能。
• FCS模型的训练时间高于标准分位数回归（QR）模型，但相比DeepAR等深度学习基线模型仍处于可接受范围。
• FCS方法的推理时间极短（每次预测仅0.01秒），适用于实时应用。
• 该方法通过生成多个插补实现，实现了稳定的概率预测，自然捕捉了输入与目标中的不确定性。