[论文解读] Safe Reinforcement Learning for Power System Control: A Review

Peipei Yu, Zhenyi Wang+2 more|arXiv (Cornell University)|Jun 30, 2024

Elevator Systems and Control被引用 5

一句话总结

本论文综述了最前沿的安全强化学习技术及其在电力系统控制中的应用，概述了在频率调节、电压控制和能源管理等方面实现安全RL的架构、方法与挑战。

ABSTRACT

The large-scale integration of intermittent renewable energy resources introduces increased uncertainty and volatility to the supply side of power systems, thereby complicating system operation and control. Recently, data-driven approaches, particularly reinforcement learning (RL), have shown significant promise in addressing complex control challenges in power systems, because RL can learn from interactive feedback without needing prior knowledge of the system model. However, the training process of model-free RL methods relies heavily on random decisions for exploration, which may result in ``bad" decisions that violate critical safety constraints and lead to catastrophic control outcomes. Due to the inability of RL methods to theoretically ensure decision safety in power systems, directly deploying traditional RL algorithms in the real world is deemed unacceptable. Consequently, the safety issue in RL applications, known as safe RL, has garnered considerable attention in recent years, leading to numerous important developments. This paper provides a comprehensive review of the state-of-the-art safe RL techniques and discusses how these techniques can be applied to power system control problems such as frequency regulation, voltage control, and energy management. We then present discussions on key challenges and future research directions, related to convergence and optimality, training efficiency, universality, and real-world deployment.

研究动机与目标

• 提供安全 RL 技术及其理论基础的结构性概览。
• 总结如何将安全 RL 与电力系统控制问题（频率调节、电压控制、能源管理）结合。
• 分析在电力系统中对安全 RL 的实际设计选择，并识别关键挑战与未来方向。

提出的方法

• 两大类安全 RL：安全层（动作替换/投影）和通过 CMDP 转换策略优化。
• 安全层设计包括动作替换、屏蔽和动作投影方法（CBF、MPC、参数化模型）。
• 策略优化扩展到带约束的 CMDP，使用拉格朗日乘子或替代的风险感知形式来对期望成本设限。
• 关于基于模型与无模型组件的讨论，以及在训练和部署期间如何将安全性保证纳入。

实验结果

研究问题

• RQ1 如何将安全 RL 技术与电力系统控制问题（频率调节、电压控制、能源管理）结合？
• RQ2 在确保训练与运行安全性方面，安全层方法与受限策略优化之间的主要设计选择与权衡是什么？
• RQ3 在电力系统中安全 RL 的收敛性、效率、泛化以及实际部署方面存在哪些挑战？
• RQ4 安全 RL 技术对智能电网实际应用与未来研究方向提供了哪些指导？

主要发现

• 提供了一份对适用于电力系统的安全 RL 技术的全面分类，将安全层与受限策略优化区分开来。
• 详细说明动作替换、屏蔽和动作投影（CBF、MPC、参数化模型）在 RL 训练和执行期间如何强制实现安全。
• 解释 CMDP 形式和拉格朗日乘子方法以处理软安全约束和风控目标。
• 强调基于 MPC 的方法依赖系统模型，可能对不确定性缺乏鲁棒性；而 CBF 需要对安全集与屏障函数进行仔细设计。
• 指出关键挑战包括收敛性保证、训练效率、在不同情景中的普适性以及现实世界部署的考虑。