[论文解读] Sequence to Point Learning Based on Bidirectional Dilated Residual Network for Non Intrusive Load Monitoring

Ziyue Jia, Linfeng Yang+3 more|arXiv (Cornell University)|May 30, 2020

Smart Grid Energy Management参考文献 26被引用 6

一句话总结

本文提出了一种基于双向空洞残差网络（Bi-DRN）的序列到点学习框架，用于非侵入式负载监测（NILM），解决了深度神经网络训练中的梯度消失与爆炸问题，并有效建模长程依赖关系。在REDD和UK-DALE数据集上的实验表明，该方法在所有电器设备上均表现出优越性能，能量分解精度优于当前最先进的方法。

ABSTRACT

Non Intrusive Load Monitoring (NILM) or Energy Disaggregation (ED), seeks to save energy by decomposing corresponding appliances power reading from an aggregate power reading of the whole house. It is a single channel blind source separation problem (SCBSS) and difficult prediction problem because it is unidentifiable. Recent research shows that deep learning has become a growing popularity for NILM problem. The ability of neural networks to extract load features is closely related to its depth. However, deep neural network is difficult to train because of exploding gradient, vanishing gradient and network degradation. To solve these problems, we propose a sequence to point learning framework based on bidirectional (non-casual) dilated convolution for NILM. To be more convincing, we compare our method with the state of art method, Seq2point (Zhang) directly and compare with existing algorithms indirectly via two same datasets and metrics. Experiments based on REDD and UK-DALE data sets show that our proposed approach is far superior to existing approaches in all appliances.

研究动机与目标

• 为解决在非侵入式负载监测（NILM）中训练深度神经网络所面临的梯度消失与梯度爆炸等问题。
• 改进聚合功率序列中的长程时间依赖建模，以实现精确的电器设备分解。
• 开发一种鲁棒的序列到点学习框架，其性能优于现有的深度学习方法。
• 通过标准化数据集（REDD和UK-DALE）和一致的评估指标验证该方法。
• 展示双向空洞卷积在捕捉功率序列数据中过去与未来上下文信息方面的有效性。

提出的方法

• 该方法采用双向空洞残差网络（Bi-DRN），利用感受野逐步扩大的空洞卷积，对功率序列中的长程依赖关系进行建模。
• 在前向和后向两个方向上应用空洞卷积，以同时捕捉来自过去和未来时间步的时序上下文信息。
• 残差模块中的跳跃连接可有效缓解训练过程中的梯度消失与网络退化问题。
• 网络采用端到端的训练方式，基于序列到点的学习范式，将一段聚合功率序列映射为单点的电器功率估计值。
• 该架构针对单通道、不可识别的盲源分离问题进行了优化，符合NILM问题的典型特征。
• 模型采用标准的深度学习优化技术进行训练，损失函数针对功率分解任务进行了定制化设计。

实验结果

研究问题

• RQ1 双向空洞残差网络能否有效建模家庭功率序列中的长程时间依赖关系，以实现NILM？
• RQ2 所提出的Bi-DRN框架在能量分解精度方面是否优于现有最先进方法？
• RQ3 与单向或标准卷积网络相比，使用双向空洞卷积在性能上有哪些提升？
• RQ4 残差学习结构在多大程度上缓解了深度神经网络在NILM任务中训练困难的问题？
• RQ5 该方法在REDD和UK-DALE等多样化真实世界数据集上的泛化能力如何？

主要发现

• 所提出的Bi-DRN框架在REDD和UK-DALE数据集上均达到最先进性能，所有电器类别均优于现有方法。
• 该模型在所有电器设备上的F1分数和平均绝对误差（MAE）均有显著提升，且相对于Seq2point基线模型保持一致优势。
• 双向设计通过融合过去与未来的功率趋势，实现更优的上下文建模，从而提升预测准确性。
• 空洞卷积的使用在不增加参数量或计算成本的前提下，有效捕捉了长程依赖关系。
• 残差连接稳定了训练过程并加快了收敛速度，有效缓解了深度网络中的梯度消失与梯度爆炸问题。
• 该方法在不同家庭功率特征下具有良好的泛化能力，展现出在多样化真实世界数据集上的鲁棒性。