[论文解读] PhysQ: A Physics Informed Reinforcement Learning Framework for Building Control

Gargya Gokhale, Bert Claessens+1 more|arXiv (Cornell University)|Nov 21, 2022

Building Energy and Comfort Optimization被引用 4

一句话总结

PhysQ 是一种物理信息强化学习框架，利用建筑热力学特性来学习数据高效、可解释的住宅供暖控制策略。通过将物理先验知识整合到拟合Q-迭代算法中，其在更少的训练样本下实现了约9%的成本节约，优于基于规则和基础模型预测控制的方案。

ABSTRACT

Large-scale integration of intermittent renewable energy sources calls for substantial demand side flexibility. Given that the built environment accounts for approximately 40% of total energy consumption in EU, unlocking its flexibility is a key step in the energy transition process. This paper focuses specifically on energy flexibility in residential buildings, leveraging their intrinsic thermal mass. Building on recent developments in the field of data-driven control, we propose PhysQ. As a physics-informed reinforcement learning framework for building control, PhysQ forms a step in bridging the gap between conventional model-based control and data-intensive control based on reinforcement learning. Through our experiments, we show that the proposed PhysQ framework can learn high quality control policies that outperform a business-as-usual, as well as a rudimentary model predictive controller. Our experiments indicate cost savings of about 9% compared to a business-as-usual controller. Further, we show that PhysQ efficiently leverages prior physics knowledge to learn such policies using fewer training samples than conventional reinforcement learning approaches, making PhysQ a scalable alternative for use in residential buildings. Additionally, the PhysQ control policy utilizes building state representations that are intuitive and based on conventional building models, that leads to better interpretation of the learnt policy over other data-driven controllers.

研究动机与目标

• 为解决基于模型的MPC和数据驱动强化学习在住宅建筑控制中的局限性，包括建模成本高、模型偏差以及数据效率差等问题。
• 通过在学习过程中引入物理信息表征，弥合传统基于模型的控制与数据密集型强化学习之间的差距。
• 通过利用热力学动态的先验知识，提升强化学习在建筑控制中的数据效率与策略可解释性。
• 通过减少样本需求和采用具有物理意义的状态表征，实现基于强化学习的控制器在住宅建筑中的可扩展部署。
• 验证准确的物理先验知识在数据驱动设置中实现高性能控制策略的必要性。

提出的方法

• PhysQ 使用物理信息神经网络（PhysNet）从建筑热力学动态中提取具有物理相关性的隐状态表征，例如室内温度和热质温度。
• 采用拟合Q-迭代（FQI）算法，利用这些物理信息状态特征学习低维Q函数，从而实现样本高效的策略学习。
• 将建筑热力学动态的先验知识整合到神经网络架构中，特别是在动态模块和编码器模块中，以引导表征学习。
• 使用兼顾能耗成本最小化与热舒适度约束的奖励函数训练Q函数，且动作被限制为二值加热状态。
• 通过自定义模拟器评估该方法，将PhysQ与业务常态（BAU）控制器、标准FQI-NN智能体以及模型预测控制器（MPC）进行对比。
• 消融实验通过对比正确PhysQ与错误物理先验的‘错误PhysQ’变体，评估错误物理先验的影响，证明了准确物理知识的必要性。

实验结果

研究问题

• RQ1 物理信息强化学习框架是否能在保持或提升控制性能的同时，降低住宅建筑供暖中的数据需求？
• RQ2 在数据驱动的强化学习设置中，准确的物理先验知识如何影响所学控制策略的质量与鲁棒性？
• RQ3 PhysQ在成本节约与能效方面，相较于传统基于规则和基于模型的控制器，其性能提升程度如何？
• RQ4 与标准深度强化学习智能体相比，使用具有物理解释性的状态表征是否能提升所学控制策略的可解释性？
• RQ5 当使用错误的物理模型时，PhysQ的性能对先验模型误差的敏感程度如何，尤其是在错误物理知识被引入的情况下？

主要发现

• 与业务常态的基于规则控制器相比，PhysQ实现了约9%的能耗成本降低，展现出显著的经济效益。
• 与传统FQI-NN智能体相比，该框架所需的训练样本更少，证实了其因物理信息表征而具备更高的数据效率。
• 消融实验表明，使用正确物理先验的PhysQ与使用错误先验的变体之间存在明显性能差距，证明了准确物理知识对高质量策略的必要性。
• 在成本节约与样本效率方面，PhysQ智能体优于标准FQI-NN智能体和基础MPC控制器，表明其在实际部署场景中的优越性。
• 使用具有物理意义的状态特征（如室内温度和热质温度）显著提升了所学策略的可解释性，为建筑控制中的可解释人工智能提供了可行路径。
• 该框架在实际部署方面展现出强大潜力，未来工作将聚焦于现场验证以及对外生变量预测误差的鲁棒性提升。