[论文解读] Transfer Learning for Non-Intrusive Load Monitoring

Michele D'Incecco, Stefano Squartini+1 more|arXiv (Cornell University)|Feb 23, 2019

Smart Grid Energy Management参考文献 42被引用 17

一句话总结

本文提出了迁移学习策略——电器迁移学习（ATL）和跨域迁移学习（CTL），以通过序列到点（seq2point）深度学习提升非侵入式负载监测（NILM）性能。结果表明，从复杂电器（如洗衣机）预训练的卷积神经网络（CNN）特征可成功迁移至简单电器（如电水壶）；且在某一数据域（如REFIT）上训练的seq2point模型，无需微调或经微调后，可泛化至其他数据域（如UK-DALE、REDD），显著降低训练成本，实现可扩展的、通用的NILM系统。

ABSTRACT

Non-intrusive load monitoring (NILM) is a technique to recover source appliances from only the recorded mains in a household. NILM is unidentifiable and thus a challenge problem because the inferred power value of an appliance given only the mains could not be unique. To mitigate the unidentifiable problem, various methods incorporating domain knowledge into NILM have been proposed and shown effective experimentally. Recently, among these methods, deep neural networks are shown performing best. Arguably, the recently proposed sequence-to-point (seq2point) learning is promising for NILM. However, the results were only carried out on the same data domain. It is not clear if the method could be generalised or transferred to different domains, e.g., the test data were drawn from a different country comparing to the training data. We address this issue in the paper, and two transfer learning schemes are proposed, i.e., appliance transfer learning (ATL) and cross-domain transfer learning (CTL). For ATL, our results show that the latent features learnt by a `complex' appliance, e.g., washing machine, can be transferred to a `simple' appliance, e.g., kettle. For CTL, our conclusion is that the seq2point learning is transferable. Precisely, when the training and test data are in a similar domain, seq2point learning can be directly applied to the test data without fine tuning; when the training and test data are in different domains, seq2point learning needs fine tuning before applying to the test data. Interestingly, we show that only the fully connected layers need fine tuning for transfer learning. Source code can be found at https://github.com/MingjunZhong/transferNILM.

研究动机与目标

• 为解决非侵入式负载监测（NILM）模型在不同电器和数据域之间泛化的问题。
• 探究此前仅在相同域内测试的序列到点（seq2point）学习，是否可迁移至未见电器或不同地理区域的数据域。
• 开发迁移学习策略——电器迁移学习（ATL）和跨域迁移学习（CTL），以减少对标注数据和计算成本的依赖。
• 验证卷积神经网络（CNN）特征在不同电器和数据域之间具有不变性，从而支持迁移能力的假设。

提出的方法

• 提出电器迁移学习（ATL），即冻结在复杂电器（如洗衣机）上预训练的CNN层，仅对另一较简单电器（如电水壶）的全连接层进行微调。
• 引入跨域迁移学习（CTL），即在某一数据集（如REFIT）上训练的模型，应用于另一数据集（如UK-DALE或REDD），并可选择性地对全连接层进行微调。
• 采用序列到点深度学习架构，以CNN主干网络从主电路功率序列中提取潜在特征，随后通过全连接层实现电器特定分类。
• 使用早停策略与特征冻结的迁移学习，以减少微调过程中的过拟合与计算成本。
• 通过在REFIT上训练并在UK-DALE与REDD数据集上测试，评估迁移能力，对比有无微调的性能表现。
• 采用均方误差（MAE）和多电器、多域下的能量分解准确率等定量指标验证迁移学习效果。

实验结果

研究问题

• RQ1 从某一电器（如洗衣机）学习到的卷积神经网络（CNN）特征，能否有效迁移至另一未见电器（如电水壶）？
• RQ2 seq2point学习是否可在不同数据域之间迁移，例如从UK-DALE或REFIT迁移至REDD？
• RQ3 仅微调全连接层是否能提升向不同域迁移时的模型性能，以及在何种情况下是必要的？
• RQ4 在相似或不同域条件下，微调在跨域NILM中是否带来性能提升？
• RQ5 迁移学习是否能减少NILM对大量标注数据和计算资源的依赖，同时保持高分解准确率？

主要发现

• 电器迁移学习（ATL）成功将复杂电器（如洗衣机）的特征迁移至更简单的电器（如电水壶），仅需极少微调即可实现高分解准确率。
• 跨域迁移学习（CTL）表明seq2point模型具有良好的域间泛化能力：当训练域与测试域相似时，无需微调即可实现良好性能；当域不同时，微调可显著提升性能。
• 仅微调全连接层即可实现有效的迁移学习，同时保持CNN特征在不同电器和域之间的不变性。
• 在REFIT上训练的模型在UK-DALE和REDD数据集上均表现出良好泛化能力，使用迁移学习时，均方误差（MAE）分别为26.422和26.778。
• 迁移学习显著降低了计算成本与对标注数据的依赖，使单一通用NILM模型可规模化部署于多样化电器与地理区域。
• 结果支持CNN特征在不同电器与数据域之间具有不变性的假设，为构建通用、类“预言机”式的NILM系统提供了坚实基础。