[论文解读] Sequence-to-point learning with neural networks for nonintrusive load monitoring

Chaoyun Zhang, Mingjun Zhong+3 more|arXiv (Cornell University)|Dec 29, 2016

Smart Grid Energy Management参考文献 20被引用 131

一句话总结

引入使用 CNN 的单通道 NILM 的序列到点（seq2point）学习，预测窗中点来改进分解；在 UK-DALE 和 REDD 数据集上实现最先进的 MAE 与 SAE，并具有学习到的家电签名。

ABSTRACT

Energy disaggregation (a.k.a nonintrusive load monitoring, NILM), a single-channel blind source separation problem, aims to decompose the mains which records the whole house electricity consumption into appliance-wise readings. This problem is difficult because it is inherently unidentifiable. Recent approaches have shown that the identifiability problem could be reduced by introducing domain knowledge into the model. Deep neural networks have been shown to be a promising approach for these problems, but sliding windows are necessary to handle the long sequences which arise in signal processing problems, which raises issues about how to combine predictions from different sliding windows. In this paper, we propose sequence-to-point learning, where the input is a window of the mains and the output is a single point of the target appliance. We use convolutional neural networks to train the model. Interestingly, we systematically show that the convolutional neural networks can inherently learn the signatures of the target appliances, which are automatically added into the model to reduce the identifiability problem. We applied the proposed neural network approaches to real-world household energy data, and show that the methods achieve state-of-the-art performance, improving two standard error measures by 84% and 92%.

研究动机与目标

• 将能源分解（NILM）动机化为单通道盲源分离问题并通过从数据中学习的领域信息来解决可 identifiability 问题。
• 提出序列到点学习以避免边缘效应并提高预测精度。
• 证明 CNN 可以在不需要手工特征的情况下自动学习家电签名（变化点、使用时长、功率水平）。
• 在 UK-DALE 和 REDD 数据集上进行实证验证，较前方法实现显著的误差降低。
• 通过对 CNN 特征图的可视化来解释学习到的特征，以理解预测的基础。

提出的方法

• 用序列到点替代 seq2seq，从输入的主电力窗 Y_t:t+W-1 中预测中点的家电值 x_tau。
• 对 seq2seq 与 seq2point 使用相同的 CNN 架构以实现直接对比。
• 对序列进行填充并滑动窗口以生成训练样本，训练目标是最小化中点输出的对数似然。
• 将 seq2seq 和 seq2point 视为后验密度估计器，并展示 seq2point 在同一架构下对目标分布的近似更紧致（定理 1）。
• 提供分析和经验证明，seq2point 将学习容量聚焦在相关的中点预测上，减少边缘相关的预测问题。
• 在 UK-DALE 和 REDD 数据集上进行评估，与 AFHMM 和 seq2seq 基线进行比较。

实验结果

研究问题

• RQ1 序列到点学习是否在单通道分解中相对于序列到序列方法提高 NILM 的准确性？
• RQ2 CNN 能否从原始主电数据中自动学习家电特定的签名（变化点、使用时长、功率水平）？
• RQ3 在跨家庭和跨数据集（UK-DALE 与 REDD）的迁移学习设置下，seq2point 的表现如何？
• RQ4 在常见 NILM 家电上，使用 seq2point 相较于 seq2seq 的 MAE 和 SAE 的定量提升有多大？
• RQ5 学习到的特征是否可解释并与已知的家电使用模式对齐？

主要发现

方法	水壶 MAE	微波炉 MAE	冰箱 MAE	洗碗机 MAE	洗衣机 MAE	总体 MAE
AFHMM	47.38	21.18	42.35	199.84	103.24	82.79 ± 64.50
seq2seq(Kelly)	13.00	14.559	38.451	237.96	163.468	93.488 ± 91.112
seq2seq(this paper)	9.220	13.619	24.489	32.515	10.153	17.999 ± 9.063
seq2point(this paper)	7.439	8.661	20.894	27.704	12.663	15.472 ± 7.718

• Seq2point 在 UK-DALE 上的误差显著低于 seq2seq 与先前基线，总体 MAE 为 15.472，SAE 为 0.321（相较于 seq2seq 的 17.999 MAE 与 0.423 SAE）。
• Seq2point 相较于 seq2seq(Kelly) 在 UK-DALE 上的 MAE 提升约 84%，SAE 提升约 92%。
• 在 REDD 上，seq2point 的总体 MAE 为 23.693，SAE 为 0.270，优于 seq2seq（MAE 26.552，SAE 0.355）。
• 在 UK-DALE 的各家电中，seq2point 相较于 seq2seq(Kelly) 和 seq2seq(本文) 在水壶、微波炉、冰箱、洗碗机、洗衣机的 MAE 上均有所下降。
• CNN 特征图的可视化显示学习到的家电签名，如变化点、典型使用时长和功率水平，与手工设计的 NILM 特征相符但实现自动学习。
• 理论分析（定理 1）证明，在使用相同架构的情况下，seq2point 对中点值的目标后验分布提供了比 seq2seq 更紧致的近似。