[论文解读] Towards a Scalable and Flexible Simulation and Testing Environment Toolbox for Intelligent Microgrid Control

Henrik Bode, Stefan Heid+3 more|arXiv (Cornell University)|May 11, 2020

Microgrid Control and Optimization参考文献 25被引用 4

一句话总结

本文介绍了 OpenModelica 微电网 Gym（OMG）工具箱，这是一个开源、可扩展的智能微电网控制仿真环境，集成了 OpenModelica 用于建模，以及基于 Python 的 OpenAI Gym 接口，支持控制算法（包括强化学习）的即插即用式测试。主要贡献在于提供了一个灵活、可扩展的平台，可在多种微电网拓扑结构和运行条件下实现控制策略的标准化评估与安全优化。

ABSTRACT

Micro- and smart grids (MSG) play an important role both for integrating renewable energy sources in conventional electricity grids and for providing power supply in remote areas. Modern MSGs are largely driven by power electronic converters due to their high efficiency and flexibility. Nevertheless, controlling MSGs is a challenging task due to highest requirements on energy availability, safety and voltage quality within a wide range of different MSG topologies. This results in a high demand for comprehensive testing of new control concepts during their development phase and comparisons with the state of the art in order to ensure their feasibility. This applies in particular to data-driven control approaches from the field of reinforcement learning (RL), whose stability and operating behavior can hardly be evaluated a priori. Therefore, the OpenModelica Microgrid Gym (OMG) package, an open-source software toolbox for the simulation and control optimization of MSGs, is proposed. It is capable of modeling and simulating arbitrary MSG topologies and offers a Python-based interface for plug \& play controller testing. In particular, the standardized OpenAI Gym interface allows for easy RL-based controller integration. Besides the presentation of the OMG toolbox, application examples are highlighted including safe Bayesian optimization for low-level controller tuning.

研究动机与目标

• 解决在多种拓扑结构和运行条件下，缺乏标准化、开源且可扩展的平台来测试和比较智能微电网控制算法的问题。
• 通过引入安全约束的贝叶斯优化，实现低层级控制器参数（如 PID 增益）的安全高效数据驱动优化。
• 为基于 OpenModelica 的高保真微电网模型与用 Python 实现的控制算法（尤其是强化学习算法）提供即插即用的接口。
• 支持在不同系统配置下对控制策略进行全面验证，包括交直流混合微电网以及具有随机性负荷/发电条件的情况。
• 通过提供标准化、开源的仿真与测试框架，促进可复现的基准测试与新型控制方法的开发。

提出的方法

• 利用 OpenModelica 作为后端，建模任意微电网拓扑结构，包括电力电子变换器、逆变器、储能装置和负荷。
• 通过基于 Python 的接口暴露 OpenAI Gym 标准，实现控制算法（尤其是强化学习智能体）的无缝集成。
• 采用基于高斯过程的安全贝叶斯优化框架，对 PID 控制器参数（Kp, Ki）进行调优，同时在性能指标上施加安全约束。
• 将性能指标（J）定义为控制器增益的函数，并设定安全阈值以防止系统失稳或元件过载。
• 在 OpenModelica 模型中引入锁相环（PLL）和辅助控制组件，以确保仿真过程中准确的同步与稳定性。
• 对控制器调优采用多维参数搜索空间，并通过性能景观图与置信度边界可视化，指导优化过程。

实验结果

研究问题

• RQ1 能否开发一个标准化、开源的仿真与测试平台，以实现在多种微电网拓扑结构下对智能微电网控制策略进行公平且可复现的比较？
• RQ2 在缺乏系统动态先验知识的情况下，数据驱动优化方法（如安全贝叶斯优化）在调优低层级微电网控制器时，能否有效确保安全性？
• RQ3 PID 控制器的性能在不同增益组合下变化程度如何？是否可利用高斯过程可靠地建模与优化？
• RQ4 当微电网控制性能函数出现突变或平台区域时，标准高斯过程不确定性建模方法存在哪些局限性？
• RQ5 在基于强化学习的微电网控制中，将专家知识融入数据驱动控制优化是否能提升安全性与收敛性？

主要发现

• OMG 工具箱成功实现了基于 OpenModelica 的任意微电网拓扑结构的仿真与测试，通过标准化的 Python 接口实现完全互操作性。
• 基于高斯过程的安全贝叶斯优化无法可靠预测性能景观中的平台区域或性能急剧下降区域，原因在于协方差假设不匹配，导致过度自信或遗漏安全约束。
• 最优 PID 控制器增益为 Kp = 0.0125 V/A 和 Ki = 117.81 V/(A·s)，实现了快速电流响应，且无超调，未违反额定电流限制。
• 控制器的性能函数表现出高恒定区域与剧烈跃迁区域，标准 GP 协方差结构未能准确捕捉这些特征，限制了优化的可靠性。
• 尽管设定了安全阈值（Jmin = -1.06），基于 GP 的优化仍因对性能突变建模不佳而存在进入不安全参数区域的风险。
• 本研究强调，安全、数据驱动的微电网控制仍是重大开放挑战，尤其当仅依赖通用不确定性模型（如高斯过程）而缺乏专家先验信息时。