[论文解读] Optimal Energy System Scheduling Using A Constraint-Aware Reinforcement Learning Algorithm

Shengren Hou, Pedro P. Vergara+2 more|arXiv (Cornell University)|May 9, 2023

Smart Grid Energy Management被引用 5

一句话总结

该论文提出MIP-DQN，一种约束感知的深度强化学习算法，将训练好的Q网络建模为混合整数规划（MIP），以在在线调度过程中强制执行硬性运行约束（如功率平衡和爬坡限制）。该方法在可再生能源丰富的配电网中实现了可行且近似最优的能源系统调度，在未见测试日也严格满足约束条件，相对于最优解的误差为13.7%。

ABSTRACT

The massive integration of renewable-based distributed energy resources (DERs) inherently increases the energy system's complexity, especially when it comes to defining its operational schedule. Deep reinforcement learning (DRL) algorithms arise as a promising solution due to their data-driven and model-free features. However, current DRL algorithms fail to enforce rigorous operational constraints (e.g., power balance, ramping up or down constraints) limiting their implementation in real systems. To overcome this, in this paper, a DRL algorithm (namely MIP-DQN) is proposed, capable of extit{strictly} enforcing all operational constraints in the action space, ensuring the feasibility of the defined schedule in real-time operation. This is done by leveraging recent optimization advances for deep neural networks (DNNs) that allow their representation as a MIP formulation, enabling further consideration of any action space constraints. Comprehensive numerical simulations show that the proposed algorithm outperforms existing state-of-the-art DRL algorithms, obtaining a lower error when compared with the optimal global solution (upper boundary) obtained after solving a mathematical programming formulation with perfect forecast information; while strictly enforcing all operational constraints (even in unseen test days).

研究动机与目标

• 解决深度强化学习（DRL）在能源系统调度中缺乏约束强制执行的问题。
• 开发一种DRL算法，确保在功率平衡和爬坡限制等硬性约束下，运行计划的可行性。
• 实现实时、数据驱动的高比例可再生能源渗透下分布式能源资源（DERs）的调度。
• 弥合无模型DRL与现实能源系统严格可行性要求之间的差距。
• 通过在DNN推理阶段整合优化理论，改进现有DRL方法。

提出的方法

• MIP-DQN算法将训练好的Q网络重构为混合整数规划（MIP）公式，将运行约束直接嵌入动作空间。
• 在在线推理过程中，MIP公式确保所有动作（如功率输出）严格满足系统约束，如功率平衡、分布式发电（DG）爬坡限制以及储能系统（ESS）的充放电限制。
• Q网络使用基于DQN的框架离线训练，奖励函数包含约束违反的惩罚项以及用于奖励塑形的缩放系数。
• 该方法利用近期将深度神经网络表示为MIP的进展，实现在不损害策略最优性的情况下精确强制执行约束。
• 在推理时求解MIP公式以生成可行动作，确保不会产生不可行的调度方案。
• 通过在包含多个分布式发电机组和储能系统的测试系统上进行综合仿真，验证了该方法。

Figure 5: Mean and standard deviation of the demand consumption and PV generation.

实验结果

研究问题

• RQ1 能否设计一种DRL算法，实现实时能源系统调度中硬性运行约束的强制执行？
• RQ2 如何重构DRL中使用的深度神经网络，以在在线推理期间保证约束可行性？
• RQ3 在可再生能源预测不确定的情况下，所提出的MIP-DQN方法相较于最先进DRL算法，调度误差减少了多少？
• RQ4 在未见测试日（训练数据中未包含此类场景）中，MIP-DQN算法能否保持约束可行性？
• RQ5 将MIP形式化的DNN集成到调度中，如何影响优化性与计算可行性的权衡？

主要发现

• MIP-DQN算法相对于使用完美预测信息获得的最优全局解，调度误差为13.7%。
• 所提出方法在未见测试日也严格执行所有运行约束，包括功率平衡、爬坡限制以及储能系统荷电状态边界。
• MIP-DQN在解质量方面优于现有最先进DRL算法，具有更低的误差和更优的约束满足度。
• 该算法通过将训练好的Q网络表示为MIP，在在线执行过程中保持可行性，确保不会选择不可行动作。
• 该方法在包含多个分布式发电机组和储能单元的复杂、类真实世界场景中表现出鲁棒性。
• 结果证实，DNN的MIP表示可实现在能源系统中安全、约束感知的强化学习，且不牺牲近似最优性。

Figure 6: Mean and 95% confident interval for the reward, operating cost and power unbalance for the developed MIP-DQN algorithm, as well as for other DRL algorithms, during training. As expected, none of these DRL algorithms are able to enforce the power balance constraint.