[论文解读] Reinforcement Learning for Electricity Network Operation

Adrian Kelly, Aïdan O'Sullivan+2 more|arXiv (Cornell University)|Mar 16, 2020

Smart Grid Energy Management参考文献 12被引用 7

一句话总结

本文介绍了 L2RPN 2020 挑战赛，该挑战赛利用强化学习（RL）在模拟环境中优化实时电力网络运行。通过将 IEEE-14 扩展至 IEEE-118 网络并引入再调度操作，该挑战赛使 RL 代理能够学习在去碳化电力系统中实现安全、低成本的控制策略，推动了电力系统与机器学习领域之间的协作。

ABSTRACT

This paper presents the background material required for the Learning to Run Power Networks Challenge. The challenge is focused on using Reinforcement Learning to train an agent to manage the real-time operations of a power grid, balancing power flows and making interventions to maintain stability. We present an introduction to power systems targeted at the machine learning community and an introduction to reinforcement learning targeted at the power systems community. This is to enable and encourage broader participation in the challenge and collaboration between these two communities.

研究动机与目标

• 评估强化学习（RL）在安全、可靠且成本可控的前提下，用于实时控制电力输电网络的潜力。
• 应对由于可再生能源渗透率提高和发电模式随机性增加而带来的电力系统运行复杂性上升问题。
• 通过共享基准挑战赛，弥合电力系统工程与机器学习之间的差距，促进跨领域协作。
• 开发并部署一个开源仿真环境（Grid2Op），用于在真实电力网络动态背景下训练和测试 RL 代理。
• 推进强化学习方法在现实世界电力系统运行中的实际应用，特别是在去碳化和电气化趋势背景下的应用。

提出的方法

• 该挑战赛使用 Grid2Op 开源仿真环境，对电力系统动态进行建模，并支持 RL 代理与电网之间的交互。
• 代理通过拓扑变化（例如线路投切）和再调度操作（调节发电机出力）来控制电网。
• 环境使用牛顿-拉夫森潮流算法模拟实时潮流，并强制执行安全约束（例如线路热稳定极限）。
• 训练在模拟环境中进行，以避免对物理基础设施造成风险，奖励机制基于最小化线路负载并避免网络故障。
• 该框架支持确定性和随机性负荷与发电配置，以反映现实世界中的波动性。
• 挑战赛采用基准测试协议，根据代理在多个测试案例中的表现进行评分，任何事故或故障均记为零分。

实验结果

研究问题

• RQ1 强化学习代理能否在实时运行中操作大规模电力网络（IEEE-118），同时保持安全并最小化运行成本？
• RQ2 RL 代理在应对去碳化电力系统中典型的随机负荷与发电模式方面效果如何？
• RQ3 RL 代理能否发现人类调度员或传统最优潮流方法难以察觉的灵活、低成本控制策略？
• RQ4 与仅依赖拓扑控制相比，再调度操作在提升代理性能方面起到什么作用？
• RQ5 在真实模拟环境中，RL 代理对未见过的负荷与发电情景的鲁棒性如何？

主要发现

• L2RPN 2020 挑战赛成功将基准从 IEEE-14 扩展至 IEEE-118，显著增加了状态空间和动作空间的复杂性。
• 引入再调度操作使代理在最小化线路负载和提升运行效率方面表现更优。
• 多个团队利用深度 Q 学习及其他深度强化学习方法开发出稳健的 RL 代理，证明了 RL 在电力网络控制中的可行性。
• 在模拟环境中训练的代理对未见过的负荷与发电配置表现出良好的泛化能力，显示出实际部署的潜力。
• Grid2Op 环境作为 RL 在电力系统中应用的标准化基准，被证明是有效的，支持可复现的评估与协作。
• 该挑战赛成功促进了电力系统与机器学习研究人员之间的跨学科协作，推动了智能电网运行领域的发展。