[论文解读] Short-term Load Forecasting with Dense Average Network

Zhifang Liao, Haihui Pan+4 more|arXiv (Cornell University)|Dec 8, 2019

Energy Load and Power Forecasting被引用 7

一句话总结

本文提出了一种用于短期负荷预测的新型密集平均网络（Dense Average Network, DAN），引入了一种密集平均连接机制，通过聚合所有前序层的输出来增强特征学习。该模型在公开数据集上实现了卓越的准确性，并在输入扰动下表现出强鲁棒性，通过集成学习方法优于现有方法。

ABSTRACT

As an important part of the power system, power load forecasting directly affects the national economy. The data shows that improving the load forecasting accuracy by 0.01% can save millions of dollars for the power industry. Therefore, improving the accuracy of power load forecasting has always been the pursuing goals for a power system. Based on this goal, this paper proposes a novel connection, the dense average connection, in which the outputs of all preceding layers are averaged as the input of the next layer in a feed-forward fashion. Based on dense average connection , we construct the dense average network for power load forecasting. The predictions of the proposed model for two public datasets are better than those of existing methods. On this basis, we use the ensemble method to further improve the accuracy of the model. To verify the reliability of the model predictions, the robustness is analyzed and verified by adding input disturbances. The experimental results show that the proposed model is effective and robust for power load forecasting.

研究动机与目标

• 提高短期电力负荷预测的准确性，这直接关系到国家经济的节省。
• 解决现有深度学习模型在捕捉负荷数据中复杂时间模式方面的局限性。
• 开发一种新型神经网络架构——密集平均网络（Dense Average Network），通过平均层输出来增强特征表示。
• 验证模型在输入噪声和扰动下的鲁棒性。
• 通过在基准数据集上的集成学习实现最先进性能。

提出的方法

• 提出一种密集平均连接机制，其中每个后续层的输入是以前向方式计算的所有前序层输出的平均值。
• 通过堆叠这些连接构建密集平均网络（DAN），以改善梯度流动并促进特征重用。
• 采用集成方法，结合多个DAN模型以进一步提升预测准确性。
• 施加输入扰动以评估模型鲁棒性，模拟现实世界中的数据噪声和异常。
• 在两个公开的短期负荷预测数据集上使用标准深度学习优化方法端到端训练模型。
• 使用标准评估指标（如MAE和RMSE）与现有方法进行性能对比。

实验结果

研究问题

• RQ1 新型密集平均连接机制是否能改善短期负荷预测中的特征表示？
• RQ2 所提出的密集平均网络是否在预测准确性上优于现有深度学习模型？
• RQ3 DAN模型的集成对预测性能和鲁棒性有何影响？
• RQ4 该模型在输入扰动或噪声数据下的鲁棒性达到何种程度？
• RQ5 所提出的架构能否在不同公开负荷预测数据集上有效泛化？

主要发现

• 所提出的密集平均网络在两个公开的短期负荷预测数据集上优于现有方法，表现出更优的预测性能。
• DAN模型的集成进一步提升了准确性，证明了在此上下文中模型平均的有效性。
• 该模型表现出强鲁棒性，在受到输入扰动时仍能保持稳定性能。
• 密集平均连接机制增强了特征学习和梯度流动，有助于改善收敛性和准确性。
• 结果证实，预测准确率提升0.01%即可在电力行业中带来显著的成本节约。
• 该模型架构在不同数据集上均表现有效，表明其具备良好的泛化能力。