[论文解读] PowerNet: Multi-agent Deep Reinforcement Learning for Scalable Powergrid Control

Chen Dong, Zhaojian Li+4 more|arXiv (Cornell University)|Nov 24, 2020

Microgrid Control and Optimization参考文献 48被引用 6

一句话总结

本文提出 PowerNet，一种用于基于逆变器的微电网中可扩展的二次电压控制的去中心化、同策略多智能体深度强化学习算法。通过整合空间折扣因子、可微分通信和动作平滑化机制，PowerNet 相较于最先进水平的多智能体强化学习方法和基于模型的控制方法，实现了更快的收敛速度和更优的电压调节性能，在 40 节点系统中的推理时间低于 36ms。

ABSTRACT

This paper develops an efficient multi-agent deep reinforcement learning algorithm for cooperative controls in powergrids. Specifically, we consider the decentralized inverter-based secondary voltage control problem in distributed generators (DGs), which is first formulated as a cooperative multi-agent reinforcement learning (MARL) problem. We then propose a novel on-policy MARL algorithm, PowerNet, in which each agent (DG) learns a control policy based on (sub-)global reward but local states from its neighboring agents. Motivated by the fact that a local control from one agent has limited impact on agents distant from it, we exploit a novel spatial discount factor to reduce the effect from remote agents, to expedite the training process and improve scalability. Furthermore, a differentiable, learning-based communication protocol is employed to foster the collaborations among neighboring agents. In addition, to mitigate the effects of system uncertainty and random noise introduced during on-policy learning, we utilize an action smoothing factor to stabilize the policy execution. To facilitate training and evaluation, we develop PGSim, an efficient, high-fidelity powergrid simulation platform. Experimental results in two microgrid setups show that the developed PowerNet outperforms a conventional model-based control, as well as several state-of-the-art MARL algorithms. The decentralized learning scheme and high sample efficiency also make it viable to large-scale power grids.

研究动机与目标

• 解决集中式和基于模型的微电网二次电压控制在分布式微电网中面临的可扩展性和鲁棒性挑战。
• 开发一种去中心化、协作式的多智能体强化学习（MARL）框架，实现在不依赖全局系统模型的情况下高效、可扩展的控制。
• 克服现有 MARL 方法在处理系统不确定性、通信开销以及向大规模电力系统扩展方面的局限性。
• 通过引入空间折扣、可微分通信等新型架构组件，提升训练效率和策略泛化能力。
• 在无需完全重新训练的情况下，实现对拓扑变化（如分布式发电单元的增减）的动态适应，增强运行韧性。

提出的方法

• 将二次电压控制问题建模为去中心化多智能体强化学习的协作部分可观察马尔可夫决策过程（POMDP）。
• 引入空间折扣因子，降低远距离智能体的影响，加速训练并提升可扩展性。
• 实现一种可微分的、基于学习的通信协议，使相邻智能体能够交换编码信息以改善协调。
• 应用动作平滑因子，以在同策略训练期间系统存在噪声和不确定性时稳定策略执行。
• 设计一种去中心化、同策略的训练方案，每个分布式发电单元（DG）仅使用本地观测和邻居通信信息来学习其策略。
• 开发 PGSim，一种高保真、高效的电力系统仿真平台，以支持 MARL 策略的真实训练与评估。

实验结果

研究问题

• RQ1 在负载波动条件下，多智能体深度强化学习方法是否能优于传统的基于模型的控制方法在二次电压调节中的表现？
• RQ2 空间折扣因子的引入在大规模微电网控制中如何提升训练效率和可扩展性？
• RQ3 可微分的、基于学习的通信协议在提升相邻分布式发电单元间协调能力方面有多大作用？
• RQ4 与从零开始重新训练相比，PowerNet 如何处理动态拓扑变化（如 DG 断开或新增）？
• RQ5 PowerNet 在大规模微电网中的推理延迟是多少？是否满足实时运行需求？

主要发现

• 在 10% 负载扰动下的 microgrid-20 设置中，PowerNet 实现了最高的平均奖励（0.781），显著优于 MPC（0.642）、IA2C（0.447）及其他 MARL 基线方法。
• 在 40 节点微电网中，PowerNet 保持了稳定的训练过程并实现了持续一致的性能表现，而 CommNet 无法收敛，且性能劣于 IA2C。
• 在 40 节点系统中，PowerNet 的推理时间仅为 35.8 ms，时间/规模比稳定在 0.90，证实了其具备实时可行性与可扩展性。
• 从 microgrid-20 上预训练的模型进行迁移，可在新增或移除 DG 单元时实现更快的收敛速度和更优的性能表现，优于从零开始训练。
• 与模型预测控制（MPC）方法相比，PowerNet 的收敛速度约快 19.6 倍，展现出卓越的样本效率。
• 动作平滑因子有效稳定了在系统噪声下的策略执行，显著提升了在动态环境中的鲁棒性能。