[论文解读] Residential Demand Response Applications Using Batch Reinforcement Learning

Frederik Ruelens, Bert Claessens+4 more|arXiv (Cornell University)|Apr 8, 2015

Smart Grid Energy Management参考文献 29被引用 13

一句话总结

本文提出了一种用于住宅需求响应的批量强化学习框架，将拟合Q-迭代扩展以处理外生预测，并引入一种利用专家知识的单调性约束来调整策略的方法。此外，提出了一种无模型的蒙特卡洛估计器，用于生成日前消费计划，在电热水器和热泵的实验中实现了27%的性能提升和11%的成本降低。

ABSTRACT

Driven by recent advances in batch Reinforcement Learning (RL), this paper contributes to the application of batch RL to demand response. In contrast to conventional model-based approaches, batch RL techniques do not require a system identification step, which makes them more suitable for a large-scale implementation. This paper extends fitted Q-iteration, a standard batch RL technique, to the situation where a forecast of the exogenous data is provided. In general, batch RL techniques do not rely on expert knowledge on the system dynamics or the solution. However, if some expert knowledge is provided, it can be incorporated by using our novel policy adjustment method. Finally, we tackle the challenge of finding an open-loop schedule required to participate in the day-ahead market. We propose a model-free Monte-Carlo estimator method that uses a metric to construct artificial trajectories and we illustrate this method by finding the day-ahead schedule of a heat-pump thermostat. Our experiments show that batch RL techniques provide a valuable alternative to model-based controllers and that they can be used to construct both closed-loop and open-loop policies.

研究动机与目标

• 为解决基于模型的需求响应控制器存在的局限性，如需要系统辨识和参数估计。
• 在无需事先了解系统动态或解结构的前提下，将批量强化学习应用于住宅需求响应。
• 将拟合Q-迭代扩展以纳入天气和电价等外生变量的预测信息。
• 开发一种策略调整方法，利用专家关于策略单调性的知识来提升策略性能。
• 基于无模型的蒙特卡洛估计器，利用Q值度量解决开环日前调度问题。

提出的方法

• 将拟合Q-迭代扩展，将预测的外生数据作为输入特征，以在不确定性条件下实现更优的策略学习。
• 引入一种策略调整技术，通过施加基于专家知识的单调性约束来优化策略行为。
• 提出一种无模型的蒙特卡洛估计器，利用基于Q值的度量构建人工轨迹，以生成日前消费计划。
• 使用历史数据批次训练策略，通过重用经验高效加速收敛，优于Q-learning等在线策略方法。
• 采用一种成本函数，对计划消费与实际消费之间的偏差进行惩罚，并通过超参数α平衡精度与鲁棒性。
• 在动态电价条件下，将该方法应用于真实住宅负荷，如电热水器和热泵。

实验结果

研究问题

• RQ1 批量强化学习能否有效扩展以处理住宅需求响应中的预测外生数据？
• RQ2 如何将专家关于策略单调性的知识整合到批量RL中以提升性能？
• RQ3 无模型的蒙特卡洛估计器能否在无系统模型的前提下生成可靠的日前消费计划？
• RQ4 与传统基于模型的控制器相比，批量RL可实现多大的性能提升？
• RQ5 经验数据批次的大小如何影响日前调度的准确性及策略收敛性？

主要发现

• 在热泵恒温器场景中，加入预测输入的扩展拟合Q-迭代相比标准拟合Q-迭代实现了27%的性能提升。
• 在电热水器实验中，专家策略调整方法在60天内将总成本降低了11%，证明了引入单调性约束的价值。
• 无模型蒙特卡洛估计器成功生成了日前消费计划，其平均性能度量M达到0.81（与最优控制器相比），表明计划具有高度准确性。
• 随着批次大小的增加，计划消费与实际消费之间的偏差减小，表明数据量增加可提升鲁棒性。
• 该方法无需系统模型即可实现有效的开环调度，使系统能够参与日前电力市场。
• 批量RL技术在适应性和减少系统辨识需求方面优于传统基于模型的方法。