[论文解读] Smart Home Energy Management: VAE-GAN synthetic dataset generator and Q-learning

Mina Razghandi, Hao Zhou+2 more|arXiv (Cornell University)|May 14, 2023

Building Energy and Comfort Optimization被引用 4

一句话总结

本文提出一种VAE-GAN框架，用于生成高保真度的智能家居能耗合成时间序列数据，涵盖负荷曲线、光伏发电和电动汽车充电。当用于训练基于Q-learning的HEMS时，合成数据使智能体在在线性能上接近最优，优于使用GAN和GMM生成数据训练的模型，其中VAE-GAN方法在统计相似性上更接近真实数据，并在不同储能容量下展现出更高的现实世界收益。

ABSTRACT

Recent years have noticed an increasing interest among academia and industry towards analyzing the electrical consumption of residential buildings and employing smart home energy management systems (HEMS) to reduce household energy consumption and costs. HEMS has been developed to simulate the statistical and functional properties of actual smart grids. Access to publicly available datasets is a major challenge in this type of research. The potential of artificial HEMS applications will be further enhanced with the development of time series that represent different operating conditions of the synthetic systems. In this paper, we propose a novel variational auto-encoder-generative adversarial network (VAE-GAN) technique for generating time-series data on energy consumption in smart homes. We also explore how the generative model performs when combined with a Q-learning-based HEMS. We tested the online performance of Q-learning-based HEMS with real-world smart home data. To test the generated dataset, we measure the Kullback-Leibler (KL) divergence, maximum mean discrepancy (MMD), and the Wasserstein distance between the probability distributions of the real and synthetic data. Our experiments show that VAE-GAN-generated synthetic data closely matches the real data distribution. Finally, we show that the generated data allows for the training of a higher-performance Q-learning-based HEMS compared to datasets generated with baseline approaches.

研究动机与目标

• 解决公开可用、高质量的智能家居能耗数据集稀缺问题，以支持机器学习模型的训练。
• 开发一种可扩展的、数据驱动的方法，用于生成能够捕捉时间动态和多样化家庭负荷的逼真时间序列能耗数据。
• 评估由VAE-GAN生成的合成数据是否能有效训练基于Q-learning的HEMS以实现真实世界部署。
• 将基于VAE-GAN、原始GAN和高斯混合模型（GMM）生成的合成数据训练的HEMS性能，与基于真实数据的基线模型进行比较。
• 评估在智能家居能耗管理系统中使用合成数据的可行性、可扩展性及经济收益。

提出的方法

• 采用VAE-GAN架构生成智能家居能耗、光伏发电和电动汽车充电的合成时间序列数据，结合变分自编码器（VAE）的解耦潜在空间与生成对抗网络（GAN）的生成能力。
• 模型在真实世界智能电表数据上进行端到端训练，以学习复杂且非线性的时序模式，而无需对单个设备或行为进行预先建模。
• 使用统计度量——Kullback–Leibler散度、最大均值差异（MMD）和Wasserstein距离——评估真实数据与合成数据之间的分布相似性。
• 使用合成数据集离线训练基于Q-learning的HEMS，通过储能和需求响应决策优化长期能耗成本节约与收益。
• 通过真实世界数据在线评估训练好的HEMS智能体，以衡量其在日收益和学习稳定性方面的表现。
• 将该方法与基于GAN和高斯混合模型（GMM）生成数据的基线模型进行对比，评估在不同储能系统（ESS）容量下的性能表现。

Figure 1 : Overall architecture of the proposed scheme

实验结果

研究问题

• RQ1 VAE-GAN模型能否生成在统计分布和时间特性上均与真实世界数据高度匹配的智能家居能耗合成数据？
• RQ2 基于VAE-GAN生成的合成数据训练的Q-learning-HEMS在性能上与基于真实数据或其他合成数据方法训练的模型相比如何？
• RQ3 合成数据的质量是否显著影响HEMS智能体在真实世界中的在线性能？
• RQ4 储能系统（ESS）的容量如何影响在不同合成数据源上训练的HEMS智能体的相对性能？
• RQ5 基于VAE-GAN的合成数据流水线在真实世界智能家居能耗管理中的可扩展性、管理成本和经济可行性如何？

主要发现

• 与真实数据相比，VAE-GAN生成的合成数据在Kullback–Leibler散度（0.02）、MMD（0.01）和Wasserstein距离（0.03）上均达到最低值，表明其具有更优的统计保真度。
• 在所有ESS容量下，基于VAE-GAN合成数据训练的HEMS实现了最高的平均在线收益，优于基于GAN和GMM生成数据训练的模型。
• 在40天的在线测试中，VAE-GAN-HEMS在大多数天数的收益与真实数据基线相当，且随着ESS容量增加，差距进一步缩小。
• 基于VAE-GAN数据训练的Q-learning智能体在探索阶段后表现出稳定的收敛性，表明其能从合成数据中可靠地学习。
• 所提方法展现出高可扩展性与低管理成本，因模型更新仅需在系统配置变更时使用新数据集重新训练。
• 在大规模部署场景（如智能建筑和社区）中，基于VAE-GAN的HEMS经济收益最高，得益于更优的能源套利和需求响应能力。

Figure 2 : VAE-GAN model architecture. In this network, the encoder module encodes the input sequence as a Gaussian distribution over the latent space, defined by mean and variance vectors. The supervisor module trains the encoder module to approximate the next time step closely in the latent space.