[论文解读] pymgrid: An Open-Source Python Microgrid Simulator for Applied Artificial Intelligence Research

Gonzague Henri, Tanguy Levent+3 more|arXiv (Cornell University)|Nov 11, 2020

Microgrid Control and Optimization参考文献 10被引用 15

一句话总结

pymgrid 是一个用于生成和测试微电网的开源 Python 模拟器，专为强化学习（RL）研究而设计。它通过两个标准化的微电网列表（pymgrid10 和 pymgrid25）实现可扩展、可复现的基准测试，提供多样化的架构和基线算法，结果显示，经过决策树增强的 Q-learning 在平均成本上比基于规则的控制高出约 44%，但仍不及模型预测控制的性能。

ABSTRACT

Microgrids, self contained electrical grids that are capable of disconnecting from the main grid, hold potential in both tackling climate change mitigation via reducing CO2 emissions and adaptation by increasing infrastructure resiliency. Due to their distributed nature, microgrids are often idiosyncratic; as a result, control of these systems is nontrivial. While microgrid simulators exist, many are limited in scope and in the variety of microgrids they can simulate. We propose pymgrid, an open-source Python package to generate and simulate a large number of microgrids, and the first open-source tool that can generate more than 600 different microgrids. pymgrid abstracts most of the domain expertise, allowing users to focus on control algorithms. In particular, pymgrid is built to be a reinforcement learning (RL) platform, and includes the ability to model microgrids as Markov decision processes. pymgrid also introduces two pre-computed list of microgrids, intended to allow for research reproducibility in the microgrid setting.

研究动机与目标

• 为解决强化学习研究中微电网三级控制缺乏开源、可扩展的模拟器的问题。
• 建立标准化、预先计算的微电网数据集（pymgrid10 和 pymgrid25），以提升研究的可复现性与算法基准测试水平。
• 提供一个灵活、可扩展的仿真环境，抽象领域复杂性，使研究人员能够专注于控制算法的开发。
• 提供基线控制算法（基于规则的控制、模型预测控制、Q-learning、决策树增强的 Q-learning），以实现在不同研究中的公平比较。
• 支持未来集成实时数据、碳核算以及先进的强化学习算法，以实现低碳电网运行。

提出的方法

• pymgrid 作为一个 Python 包构建，包含 MicrogridGenerator 类以生成多样化的微电网，以及 Microgrid 模拟器类以运行时间序列仿真。
• 它使用来自 DOE OpenEI 的真实世界负荷和光伏发电数据来生成微电网配置，确保运行条件的真实感。
• 微电网被建模为马尔可夫决策过程（MDPs），从而可直接与强化学习框架集成。
• 该模拟器支持多种微电网架构，包括并网型、离网型以及带有发电机、电池和光伏的弱电网配置。
• 预先计算了两套标准化基准集——pymgrid10（10 个简单微电网）和 pymgrid25（25 个多样化微电网），以支持可复现的评估。
• 已实现并评估了基线控制算法（RBC、MPC、Q-learning、DT-augmented Q-learning），在 pymgrid25 数据集上建立了性能基准。

实验结果

研究问题

• RQ1 标准化的开源微电网模拟器能否提升强化学习研究中微电网控制的可复现性？
• RQ2 不同控制算法——基于规则的控制、模型预测控制和 Q-learning 变体——在多样化微电网架构中的表现如何？
• RQ3 数据驱动的强化学习方法（如决策树增强的 Q-learning）在微电网运行中能否显著优于传统基于规则的控制器？
• RQ4 在真实微电网场景中，具有完美预测的近似最优 MPC 与实际的基于强化学习的控制器之间，性能差距有多大？
• RQ5 统一的仿真平台如何支持下一代可扩展微电网控制算法的开发与基准测试？

主要发现

• 具有完美预测的模型预测控制（MPC）可实现接近最优的性能，作为控制器性能的强上界。
• 基于规则的控制（RBC）表现作为下界，其在 pymgrid25 数据集上的平均成本比经过决策树增强的 Q-learning 高出约 44%。
• 决策树增强的 Q-learning 在大多数情况下优于 RBC，尤其在处理复杂边缘情况方面表现更优，但仍不及 MPC。
• 在六个微电网中——特别是仅含电网或电网与发电机的微电网中——RBC 表现优于经过决策树增强的 Q-learning，表明在离散动作空间学习方面存在局限性。
• MPC 与最佳强化学习方法（即决策树增强的 Q-learning）之间的性能差距显著：平均成本相差 13%，在兆瓦级系统中相当于每年多出 4000 万美元的运营成本。
• 结果凸显了改进基于强化学习的控制器的紧迫性，因为即使效率提升微小百分比，在大规模应用中也能带来巨大的成本和排放减少。