[论文解读] Non-Intrusive Load Monitoring with an Attention-based Deep Neural Network.

Antonio M. Sudoso, Veronica Piccialli|arXiv (Cornell University)|Nov 15, 2019

Smart Grid Energy Management参考文献 15被引用 10

一句话总结

本文提出了一种基于注意力机制的深度神经网络用于非侵入式负载监测（NILM），该模型结合了回归分支与分类分支。通过在回归分支中引入定制化的时序注意力机制，模型提升了对电器启停事件及高功率消耗区段的检测能力，在REDD和UK-DALE数据集上优于当前最先进方法。

ABSTRACT

Energy disaggregation, known in the literature as Non-Intrusive Load Monitoring (NILM), is the task of inferring the system appliance loads given an aggregate energy signal, for example coming from a residential power monitor. In this paper, we propose a deep neural network that combines a regression subnetwork with a classification subnetwork for solving the NILM problem. Specifically, we improve the representational power of the overall architecture by including an encoder-decoder with a tailored attention mechanism in the regression subnetwork. The attention mechanism is inspired by the temporal attention that has been recently successfully applied in neural machine translation, text summarization and speech recognition. The experiments have been conducted on two publicly available datasets REDD and UK-DALE. The results show that our proposed deep neural network outperforms the state-of-the-art in all the considered experimental conditions. We also show that modeling attention translates into the network's ability to correctly detect the turning on or off an appliance and to locate signal sections with high power consumption, that are of extreme interest in the field of energy disaggregation.

研究动机与目标

• 通过增强聚合功率信号中时间模式的表征，提升能量分解的准确性。
• 解决高精度检测电器启停事件的挑战。
• 精确定位高功率消耗段，这些段落对能效分析至关重要。
• 设计一种集成注意力机制的深度学习架构，以实现NILM中更优的时间建模。
• 在基准NILM数据集上超越现有最先进方法。

提出的方法

• 该模型采用双分支架构：回归子网络用于预测各电器的功率，分类子网络用于检测电器状态。
• 回归子网络采用编码器-解码器结构，并引入受自然语言处理中序列建模启发的定制化时序注意力机制。
• 注意力机制聚焦于输入信号的相关时间片段，从而提升功率消耗模式的特征表征能力。
• 网络通过联合损失函数进行端到端训练，同时优化回归与分类目标。
• 该架构在两个公开数据集（REDD和UK-DALE）上进行评估，采用标准NILM评价指标。
• 注意力机制使模型能够关注关键信号区域，如状态转换和高功率事件。

实验结果

研究问题

• RQ1 与现有方法相比，基于注意力机制的深度神经网络能否提升非侵入式负载监测的准确性？
• RQ2 集成时序注意力机制是否能增强对电器启停事件的检测能力？
• RQ3 通过注意力驱动的特征学习，模型能否更优地定位高功率消耗段？
• RQ4 该提出的架构在基准数据集中多样化的住宅能耗模式下表现如何？
• RQ5 注意力机制在多大程度上提升了模型在NILM任务中的鲁棒性与泛化能力？

主要发现

• 在所有实验条件下，所提模型在REDD和UK-DALE数据集上的表现均优于最先进方法。
• 注意力机制显著提升了模型检测电器启停事件的精度。
• 该网络在高功率消耗段的定位能力方面表现更优，这些段落对能效分析至关重要。
• 回归子网络中采用注意力机制的编码器-解码器结构，实现了对时间功率模式更优的表征学习。
• 联合回归与分类子网络的架构相比单任务模型，能产生更精确的分解结果。
• 在平均F1分数及其他标准NILM评价指标上，该模型均表现出卓越性能。