[论文解读] Neural networks in day-ahead electricity price forecasting: Single vs. multiple outputs

Grzegorz Marcjasz, Jesus Lago+1 more|arXiv (Cornell University)|Aug 18, 2020

Energy Load and Power Forecasting参考文献 22被引用 4

一句话总结

本文比较了在五个欧洲电力市场中，用于日前电价预测的单输出与多输出深度神经网络。研究发现，向量化多输出DNN在泛化能力与过拟合控制方面显著优于单输出模型，同时计算效率更高，因此推荐采用此类方法进行此类预测任务。

ABSTRACT

Recent advancements in the fields of artificial intelligence and machine learning methods resulted in a significant increase of their popularity in the literature, including electricity price forecasting. Said methods cover a very broad spectrum, from decision trees, through random forests to various artificial neural network models and hybrid approaches. In electricity price forecasting, neural networks are the most popular machine learning method as they provide a non-linear counterpart for well-tested linear regression models. Their application, however, is not straightforward, with multiple implementation factors to consider. One of such factors is the network's structure. This paper provides a comprehensive comparison of two most common structures when using the deep neural networks -- one that focuses on each hour of the day separately, and one that reflects the daily auction structure and models vectors of the prices. The results show a significant accuracy advantage of using the latter, confirmed on data from five distinct power exchanges.

研究动机与目标

• 评估单输出与多输出深度神经网络架构在日前电价预测中的性能差异。
• 评估多输出模型相较于24个独立训练的单小时模型，是否能减少过拟合并改善泛化能力。
• 将深度神经网络的预测准确率与最先进的LEAR模型（一种带LASSO正则化的线性、参数丰富的模型）进行比较。
• 分析两种模型结构在计算效率与超参数复杂度方面的差异。

提出的方法

• 本研究采用两种不同架构的深度神经网络（DNN）：一种是分别独立预测24个小时电价的模型（DNN 1），另一种是同时以向量形式预测全部24小时的模型（DNN 24）。
• 通过网格搜索结合早停法与Dropout技术进行超参数优化，以减轻过拟合。
• 模型在来自Nord Pool、PJM、EPEX-BE、EPEX-FR和EPEX-DE的五个公开日前电力市场数据集上进行训练与评估，每个数据集包含六年的小时级数据。
• 性能通过相对平均绝对误差（rMAE）进行衡量，并通过Giacomini-White条件预测能力（CPA）检验评估统计显著性。
• 以LEAR模型（一种带LASSO正则化特征选择的线性模型）作为最先进的性能基准。
• 分析采用多变量预测评估方法，利用Giacomini-White CPA检验判断某一模型的预测是否在统计上显著优于另一模型。

实验结果

研究问题

• RQ1 在多样化的欧洲市场中，多输出深度神经网络架构是否在日前电价预测中显著优于单输出架构？
• RQ2 相较于24个独立训练的单输出模型，多输出结构在多大程度上减少了过拟合？
• RQ3 多输出DNN在rMAE与统计显著性方面，与最先进的LEAR模型相比，预测准确率如何？
• RQ4 多输出DNN是否在计算效率上优于训练24个独立的单输出模型？
• RQ5 多输出DNN的预测优势是否在不同市场结构与价格动态下保持一致？

主要发现

• 多输出DNN（DNN 24）在预测准确率上显著优于单输出DNN（DNN 1），尤其在高峰时段表现更优，后者即使经过正则化仍表现出过拟合问题。
• 在全部五个数据集中，DNN 24的rMAE均低于DNN 1，且后者在部分市场中第4小时的预测表现甚至低于朴素基准模型。
• 在Giacomini-White CPA检验中，DNN 24未被任何其他模型超越，表明其在全部五个市场中均具有统计上显著的预测优势。
• LEAR模型在Nord Pool、PJM与EPEX-BE市场中与DNN 1表现相当，但在其余四个市场中的早、晚高峰时段，其表现被DNN 24超越。
• 多输出DNN计算效率更高，仅需一组超参数，且训练速度远快于分别训练24个单输出模型。
• 由于各小时之间共享表示学习，向量化输出结构具有更好的泛化能力，从而降低了专用单小时模型固有的过拟合风险。