[论文解读] Real-world challenges for multi-agent reinforcement learning in grid-interactive buildings

Kingsley Nweye, Bo Liu+2 more|arXiv (Cornell University)|Nov 25, 2021

Smart Parking Systems Research被引用 4

一句话总结

本文识别了电网互动建筑中多智能体强化学习（MARL）的九项现实世界挑战，提出了一套标准化框架以提升基准测试与可复现性。结果表明，从优化的规则控制（RBC）控制器进行更长时长的离线训练，可显著提升长期能源灵活性表现，而在所测试的设置中，智能体间的信息共享未带来可测量的收益。

ABSTRACT

Building upon prior research that highlighted the need for standardizing environments for building control research, and inspired by recently introduced challenges for real life reinforcement learning control, here we propose a non-exhaustive set of nine real world challenges for reinforcement learning control in grid-interactive buildings. We argue that research in this area should be expressed in this framework in addition to providing a standardized environment for repeatability. Advanced controllers such as model predictive control and reinforcement learning (RL) control have both advantages and disadvantages that prevent them from being implemented in real world problems. Comparisons between the two are rare, and often biased. By focusing on the challenges, we can investigate the performance of the controllers under a variety of situations and generate a fair comparison. As a demonstration, we implement the offline learning challenge in CityLearn and study the impact of different levels of domain knowledge and complexity of RL algorithms. We show that the sequence of operations utilized in a rule based controller (RBC) used for offline training affects the performance of the RL agents when evaluated on a set of four energy flexibility metrics. Longer offline learning from an optimized RBC leads to improved performance in the long run. RL agents that learn from a simplified RBC risk poorer performance as the offline learning period increases. We also observe no impact on performance from information sharing amongst agents. We call for a more interdisciplinary effort of the research community to address the real world challenges, and unlock the potential of grid-interactive building

研究动机与目标

• 为解决评估电网互动建筑中强化学习（RL）缺乏标准化基准的问题。
• 识别并形式化阻碍MARL在建筑控制中实际部署的现实世界挑战。
• 实现RL与传统控制方法（如模型预测控制MPC和规则控制RBC）之间公平、系统的比较。
• 展示离线训练质量及RBC设计对后续RL智能体性能的影响。
• 倡导建筑科学与机器学习社区之间的跨学科合作，以加速实际部署。

提出的方法

• 提出电网互动建筑中MARL的九项现实世界挑战（C1–C9）的非穷尽框架，聚焦于实际部署障碍。
• 使用CityLearn环境实现并评估离线学习挑战（C8），模拟真实世界的训练场景。
• 利用两种RBC生成的数据训练RL智能体（SAC与MARLISA）：基础版本和优化版本（改进了运行逻辑）。
• 在四项能源灵活性指标上评估智能体表现：区域平均日峰值、负荷率、爬坡率及净电能消耗。
• 采用统一接口（OpenAI Gym）与开源实现，确保可复现性与社区范围内的基准测试。
• 分析离线训练时长、RBC运行序列及智能体信息共享对最终性能的影响。

实验结果

研究问题

• RQ1 离线预训练数据的质量——特别是规则控制（RBC）的运行序列——如何影响后续训练的RL智能体性能？
• RQ2 从高质量RBC进行更长时长的离线训练，是否能带来电网互动建筑中更好的长期能源灵活性表现？
• RQ3 多智能体强化学习算法间的信息共享对关键能源灵活性指标的性能有何影响？
• RQ4 在现实世界建筑控制场景中，更简单的RL算法（如SAC）能否优于更复杂的MARL架构？
• RQ5 现有RBC在多大程度上已提供显著的能源灵活性，从而降低了部署先进RL控制器的边际收益？

主要发现

• 从优化的RBC进行更长时长的离线训练，可显著提升在降低区域平均日峰值、负荷率及爬坡率方面的长期表现，尽管初始收敛速度较慢。
• 在简化RBC上训练的RL智能体，随着离线训练周期延长，性能逐步恶化，表明低质量的预训练数据会损害最终结果。
• 在四项能源灵活性指标上，SAC与MARLISA RL算法之间未观察到显著性能差异，表明在此设置中，信息共享带来的额外复杂性并未带来收益。
• 净电能消耗在所有配置下基本保持不变，表明RBC设计——尤其是利用高能效比（COP）热泵在夜间充电——已捕获了大部分可用灵活性。
• 优化的RBC在降低峰值需求和改善负荷率方面显著优于所有RL控制器，凸显改进现有控制逻辑可能比部署复杂RL系统更为有效。
• 结果表明，预训练数据质量比算法复杂性更为关键，且高保真度RBC可作为实际部署的强劲基线。