[论文解读] Proximal Policy Optimization with Graph Neural Networks for Optimal Power Flow

Ángela López-Cardona, Guillermo Bernárdez+2 more|arXiv (Cornell University)|Dec 23, 2022

Optimal Power Flow Distribution被引用 6

一句话总结

本文提出了一种新型的近端策略优化（PPO）框架，结合图神经网络（GNNs）以解决非凸的交流最优潮流（ACOPF）问题。通过利用GNNs建模电网拓扑结构，并采用PPO学习最优控制策略，该方法在未见过的网络配置下具备泛化能力——在负载变化下成本性能保持在DCOPF基线的1.38倍以内，即使移除多达8条线路仍能维持可行性。

ABSTRACT

Optimal Power Flow (OPF) is a very traditional research area within the power systems field that seeks for the optimal operation point of electric power plants, and which needs to be solved every few minutes in real-world scenarios. However, due to the nonconvexities that arise in power generation systems, there is not yet a fast, robust solution technique for the full Alternating Current Optimal Power Flow (ACOPF). In the last decades, power grids have evolved into a typical dynamic, non-linear and large-scale control system, known as the power system, so searching for better and faster ACOPF solutions is becoming crucial. Appearance of Graph Neural Networks (GNN) has allowed the natural use of Machine Learning (ML) algorithms on graph data, such as power networks. On the other hand, Deep Reinforcement Learning (DRL) is known for its powerful capability to solve complex decision-making problems. Although solutions that use these two methods separately are beginning to appear in the literature, none has yet combined the advantages of both. We propose a novel architecture based on the Proximal Policy Optimization algorithm with Graph Neural Networks to solve the Optimal Power Flow. The objective is to design an architecture that learns how to solve the optimization problem and that is at the same time able to generalize to unseen scenarios. We compare our solution with the DCOPF in terms of cost after having trained our DRL agent on IEEE 30 bus system and then computing the OPF on that base network with topology changes

研究动机与目标

• 解决现代动态电力系统中全ACOPF缺乏快速、鲁棒且可泛化的解决方案的问题。
• 克服传统数值方法和线性DCOPF近似在重载或非凸条件下失效的局限性。
• 将图神经网络（GNNs）与深度强化学习（DRL）结合，利用电力网络中的结构信息以提升泛化能力。
• 开发一个DRL智能体，学习在多样化、未见过的网络拓扑中优化潮流，同时遵守运行约束。
• 在IEEE 30节点系统上，通过负载变化、线路移除和拓扑变化，验证所提架构的可行性和性能。

提出的方法

• 提出一种基于PPO的DRL智能体，其在以图表示的电网状态上进行训练，其中节点编码母线信息（如负荷、发电、电压），边编码输电线路。
• 使用GNNs编码图结构并跨母线传播信息，使智能体能够理解网络拓扑和潮流动态。
• 定义强化学习环境，状态空间包括功率注入、电压幅值和线路潮流，动作空间为发电机有功功率设定点。
• 设计奖励函数，对约束违规（如电压限值、线路潮流）进行惩罚，并最小化总发电成本。
• 在基础IEEE 30节点系统上，基于不同负载条件训练智能体，并在修改后的拓扑（负载变化、线路移除）上验证泛化能力。
• 使用共享编码器（GNN）进行状态表征，策略头用于动作选择，采用PPO的裁剪目标以确保训练稳定。

实验结果

研究问题

• RQ1 基于GNN的状态表示，PPO智能体是否能在未见过的电网拓扑中保持可行性与低成本？
• RQ2 在负载变化和网络修改下，所提出的PPO-GNN方法与标准DCOPF近似相比性能如何？
• RQ3 与非图基DRL方法相比，GNN组件在ACOPF中对泛化能力的提升程度如何？
• RQ4 在训练后移除关键网络元件（如线路或负荷）时，该方法是否仍保持鲁棒性？
• RQ5 该方法是否能在无显式约束满足监督的情况下，让智能体学习到满足所有AC潮流约束的策略？

主要发现

• 当负载从0.1增加到0.4 per unit时，PPO-GNN智能体的成本性能比为1.38（相对于DCOPF），表明其在负载变化下具备强大泛化能力。
• 在移除高达50%的负荷后，智能体的成本仍保持在DCOPF基线的1.05倍以内，显示出对负载变化的鲁棒性。
• 即使移除8条线路（占总数的26.7%），智能体的成本性能比仍为1.51（相对于DCOPF），表明其对拓扑变化具有强适应性。
• 在移除2至5条负荷的情况下，智能体的成本性能比达到1.00或以下，表明其可行性与效率与DCOPF相当或略优。
• 该模型能有效泛化到未见过的拓扑，包括线路移除，仅在移除8条线路时性能出现显著下降，表明在极端结构变化下存在泛化极限。
• 将GNN与PPO结合使智能体能够学习电力网络中的结构依赖关系，从而在泛化能力上优于非图基DRL方法。