[论文解读] Resilient Load Restoration in Microgrids Considering Mobile Energy Storage Fleets: A Deep Reinforcement Learning Approach

Shuhan Yao, Jiuxiang Gu+4 more|arXiv (Cornell University)|Nov 6, 2019

Microgrid Control and Optimization参考文献 24被引用 7

一句话总结

本文提出一种基于深度强化学习（DRL）的方法，用于在不确定的负荷条件下，协调移动储能系统（MESSs）与主动配电网资源，实现系统在重大停电后的弹性负荷恢复。通过马尔可夫决策过程（MDP）与双延迟深度确定性策略梯度（TD3）算法，该方法实现了跨主动配电网的实时、协同调度，分别在三个主动配电网中实现了72.92%、56.66%和50.76%的负荷恢复率，显著提升了系统的弹性能力。

ABSTRACT

Mobile energy storage systems (MESSs) provide mobility and flexibility to enhance distribution system resilience. The paper proposes a Markov decision process (MDP) formulation for an integrated service restoration strategy that coordinates the scheduling of MESSs and resource dispatching of microgrids. The uncertainties in load consumption are taken into account. The deep reinforcement learning (DRL) algorithm is utilized to solve the MDP for optimal scheduling. Specifically, the twin delayed deep deterministic policy gradient (TD3) is applied to train the deep Q-network and policy network, then the well trained policy can be deployed in on-line manner to perform multiple actions simultaneously. The proposed model is demonstrated on an integrated test system with three microgrids connected by Sioux Falls transportation network. The simulation results indicate that mobile and stationary energy resources can be well coordinated to improve system resilience.

研究动机与目标

• 解决在重大停电后利用移动储能系统（MESSs）实现主动配电网弹性供电恢复的挑战。
• 克服传统混合整数凸优化在大规模系统中计算复杂度高且依赖预测的问题。
• 将负荷消耗的不确定性整合到统一的决策框架中，实现MESSs与主动配电网的协同调度。
• 开发一种可扩展的实时解决方案，利用深度强化学习实现在线部署优化策略。
• 展示MESS移动性在跨主动配电网高效转移电能、恢复关键负荷方面的有效性。

提出的方法

• 将负荷恢复问题建模为马尔可夫决策过程（MDP），其中状态空间包含主动配电网的功率平衡、MESS位置以及负荷不确定性。
• 使用正态分布建模负荷预测误差，以表征负荷消耗的外生不确定性。
• 将交通网络表示为带权图，包含节点、边及距离，以支持MESS的路径规划与调度。
• 采用双延迟深度确定性策略梯度（TD3）算法训练连续动作策略网络，联合优化MESS调度与主动配电网资源分配。
• 通过经验回放与目标网络实现离策略学习，以稳定训练过程并减少Q值高估。
• 将训练好的策略在线部署，实现实时、同步的多动作决策，适用于动态恢复场景。

实验结果

研究问题

• RQ1 在负荷消耗不确定的条件下，如何最优调度移动储能车队以恢复主动配电网中的关键负荷？
• RQ2 移动与固定储能资源的协同调度在停电后恢复过程中，能在多大程度上提升系统弹性？
• RQ3 深度强化学习能否有效解决涉及MESS移动性与主动配电网运行的高维、非凸调度问题？
• RQ4 与仅依赖固定储能的方案相比，MESS移动性的集成如何提升负荷恢复性能？
• RQ5 负荷预测的不确定性对恢复策略性能有何影响，以及如何有效管理该不确定性？

主要发现

• 在不确定负荷条件下，所提出的DRL方法在微网#1、#2和#3中分别实现了72.92%、56.66%和50.76%的负荷恢复率。
• 系统总成本为351,172美元，其中客户停电成本309,859美元，主动配电网发电成本34,872美元，MESS发电成本4,600美元，运输成本1,840美元。
• TD3算法在40,000个训练周期内收敛至次优策略，学习与验证曲线稳定，表明策略学习可靠。
• MESS车队在不同微网间动态转移电能——例如，MESS#1在微网#1与#2之间移动，在一地充电，另一地放电以恢复负荷。
• MESS实现了同一微网内的负荷转移，例如MESS#3在01:00–02:00期间从微网#2充电，并在02:00–07:00期间放电。
• MESS移动性与协同调度的集成显著增强了系统弹性，实现了网络内灵活、实时的电能转移。