[论文解读] Wind Power Forecasting Considering Data Privacy Protection: A Federated Deep Reinforcement Learning Approach

Yang Li, Ruinong Wang+3 more|arXiv (Cornell University)|Nov 2, 2022

Energy Load and Power Forecasting被引用 10

一句话总结

该论文提出联邦深度强化学习（FedDRL），一种保护隐私的风力发电预测框架，结合深度确定性策略梯度（DDPG）与联邦学习，实现去中心化、高精度的超短期风力发电预测。通过仅共享模型参数而非原始数据，FedDRL 在显著降低通信负载的同时，实现了与集中式方法相当的预测精度，并消除了数据隐私风险。

ABSTRACT

In a modern power system with an increasing proportion of renewable energy, wind power prediction is crucial to the arrangement of power grid dispatching plans due to the volatility of wind power. However, traditional centralized forecasting methods raise concerns regarding data privacy-preserving and data islands problem. To handle the data privacy and openness, we propose a forecasting scheme that combines federated learning and deep reinforcement learning (DRL) for ultra-short-term wind power forecasting, called federated deep reinforcement learning (FedDRL). Firstly, this paper uses the deep deterministic policy gradient (DDPG) algorithm as the basic forecasting model to improve prediction accuracy. Secondly, we integrate the DDPG forecasting model into the framework of federated learning. The designed FedDRL can obtain an accurate prediction model in a decentralized way by sharing model parameters instead of sharing private data which can avoid sensitive privacy issues. The simulation results show that the proposed FedDRL outperforms the traditional prediction methods in terms of forecasting accuracy. More importantly, while ensuring the forecasting performance, FedDRL can effectively protect the data privacy and relieve the communication pressure compared with the traditional centralized forecasting method. In addition, a simulation with different federated learning parameters is conducted to confirm the robustness of the proposed scheme.

研究动机与目标

• 解决多个具有不同利益相关方的风电场在风力发电预测中面临的数据隐私与数据孤岛问题。
• 利用深度强化学习提升超短期风力发电预测的预测精度。
• 在不共享各利益相关方敏感原始风力数据的前提下，实现去中心化的模型训练。
• 与传统集中式预测系统相比，降低通信开销。
• 确保在不同联邦学习配置下，预测框架具备鲁棒性与可扩展性。

提出的方法

• 采用深度确定性策略梯度（DDPG）算法作为核心预测模型，以实现风力发电预测中策略函数与价值函数的端到端学习。
• 将DDPG集成到联邦学习框架中，各风电场在本地私有数据上训练本地模型，仅向中央服务器共享更新后的模型参数。
• 使用中央参数服务器聚合本地模型更新并更新全局模型，确保收敛性的同时不暴露原始数据。
• 实施可配置同步间隔的同步联邦训练协议，以平衡训练效率与通信负载。
• 在DDPG框架中引入不确定性建模，以提升在不同风电场条件下的鲁棒性与泛化能力。
• 在客户端实现包含经验回放与目标网络的本地训练循环，以稳定深度强化学习环境下的训练过程。

实验结果

研究问题

• RQ1 联邦深度强化学习框架是否能在保护数据隐私的前提下，实现与集中式方法相当的风力发电预测精度？
• RQ2 与传统的集中式数据收集方式相比，所提出的FedDRL框架如何降低通信开销？
• RQ3 在参与率与同步间隔等联邦学习参数变化的情况下，FedDRL在预测精度与鲁棒性方面表现如何？
• RQ4 FedDRL是否能有效缓解风力发电预测中的数据孤岛问题，而无需在各利益相关方之间共享数据？
• RQ5 与ARIMA、BPNN及集中式DDPG相比，FedDRL在NMAE与NRMSE等预测误差指标上的表现如何？

主要发现

• 与传统预测方法相比，FedDRL将NMAE降低至少29.25%，NRMSE降低至少46.47%，展现出更优的预测精度。
• FedDRL的预测性能与集中式DDPG相当，预测风力输出及概率密度分布的差异极小。
• 与集中式方法相比，FedDRL实现了最低88.34%的网络负载降低，且在较长同步间隔下，负载降低幅度提升至97.08%。
• 该方案在不同风电场中均保持稳定性能，NMAE值在0.0207至0.0433之间波动，表明预测精度具有一致性。
• 在不同参与率与同步间隔下的实验验证了FedDRL在多样化联邦学习配置下的鲁棒性。
• 通过将原始风力数据保留在各风电场本地，该框架成功防止了数据泄露，从而解决了隐私与数据所有权问题。