[论文解读] Using Reinforcement Learning for Demand Response of Domestic Hot Water Buffers: a Real-Life Demonstration

Oscar De Somer, Ana Soares+4 more|arXiv (Cornell University)|Mar 16, 2017

Smart Grid Energy ManagementEngineering参考文献 12被引用 17

一句话总结

本文提出一种基于模型的强化学习（RL）算法，用于优化实际住宅建筑中生活热水（DHW）蓄热器的加热周期，以最大化现场光伏（PV）发电的自用率。通过学习住户行为、预测光伏发电量并考虑系统动态特性，该RL控制器在为期四个月的六户实地实验中，相比恒温器控制，使PV自用率提高了20%以上。

ABSTRACT

This paper demonstrates a data-driven control approach for demand response in real-life residential buildings. The objective is to optimally schedule the heating cycles of the Domestic Hot Water (DHW) buffer to maximize the self-consumption of the local photovoltaic (PV) production. A model-based reinforcement learning technique is used to tackle the underlying sequential decision-making problem. The proposed algorithm learns the stochastic occupant behavior, predicts the PV production and takes into account the dynamics of the system. A real-life experiment with six residential buildings is performed using this algorithm. The results show that the self-consumption of the PV production is significantly increased, compared to the default thermostat control.

研究动机与目标

• 开发一种数据驱动的控制策略，利用住宅建筑中现有的热水蓄热装置实现需求响应。
• 在不降低用户舒适度的前提下，最大化住宅建筑中本地产生的光伏（PV）电力的自用率。
• 评估基于模型的强化学习（RL）方法在真实住宅环境中多户部署下的实际性能。
• 评估基于RL的调度对实际场景中能源系统灵活性及电网影响的影响。
• 比较RL控制器与传统恒温器控制在PV利用率和电力消耗方面的表现。

提出的方法

• 采用基于模型的强化学习（RL）框架，解决DHW蓄热器加热周期调度的序列决策问题。
• RL智能体通过真实系统交互学习，对随机的住户热水使用行为进行建模，并预测随时间变化的光伏发电量。
• 状态空间包括DHW蓄热器的荷电状态（SoC）、一天中的时间以及预测的光伏产量；动作包括加热至T_min（45°C）、T_max（55°C）或延迟加热。
• 使用真实系统轨迹数据集训练Q函数，以近似最小化能源成本并最大化PV自用率的最优策略。
• 该算法采用滚动时域方法，基于实时传感器数据（温度、流量、电力使用）更新决策。
• 该系统部署于荷兰六套翻新的社会住房单元中，每套均配备智能热泵和光伏板。

实验结果

研究问题

• RQ1 基于模型的强化学习算法能否有效调度DHW蓄热器加热，以在真实住宅建筑中最大化现场光伏发电的自用率？
• RQ2 与传统的恒温器控制相比，基于RL的控制在PV自用率和整体电力使用方面表现如何？
• RQ3 在实时热储能控制策略中，住户行为和光伏发电量在多大程度上可被预测并加以整合？
• RQ4 在真实世界部署中，RL控制器对总家庭电力消耗和空间供暖使用的影响是什么？
• RQ5 该RL策略在不同季节以及变化的天气和入住率条件下具有多强的鲁棒性？

主要发现

• 与恒温器控制相比，基于RL的控制使PV自用率提高了16.94%，而恒温器控制仅为6.25%，实现两倍以上的改进。
• 在所有住宅中，PV自用率占总用电量的比例从46.69%提升至58.52%（使用RL控制器时）。
• 尽管日均电力消耗增加了10%（从20.17 kWh增至22.13 kWh），但大部分增加源于更高的空间供暖使用，而非DHW。
• 空间供暖捕获的PV比例仅略有上升，从18.62%增至19.71%，表明RL策略主要聚焦于DHW蓄热器的利用。
• 结果表明，该策略有效将DHW加热周期调整至光伏发电高峰时段，如小时级用电量分布图所示。
• 结果表明，RL可显著提升住宅建筑中现有热储能基础设施的本地能源利用效率。