[论文解读] On Metrics to Assess the Transferability of Machine Learning Models in Non-Intrusive Load Monitoring

Christoph Klemenjak, Anthony Faustine+2 more|arXiv (Cornell University)|Dec 12, 2019

Smart Grid Energy Management被引用 12

一句话总结

本文提出了四种领域特定指标——泛化比率（GR）、未见房屋准确率（AUH）、未见房屋误差（EUH）和平均泛化损失（MGL）——用于评估非侵入式负载监测（NILM）中机器学习模型的可迁移性。这些指标用于评估模型在未见建筑上的表现，能够检测过拟合现象，并补充传统指标。研究在多个数据集上对五种最先进和四种基线NILM算法进行了验证。

ABSTRACT

To assess the performance of load disaggregation algorithms it is common practise to train a candidate algorithm on data from one or multiple households and subsequently apply cross-validation by evaluating the classification and energy estimation performance on unseen portions of the dataset derived from the same households. With an emerging discussion of transferability in Non-Intrusive Load Monitoring (NILM), there is a need for domain-specific metrics to assess the performance of NILM algorithms on new test scenarios being unseen buildings. In this paper, we discuss several metrics to assess the generalisation ability of NILM algorithms. These metrics target different aspects of performance evaluation in NILM and are meant to complement the traditional performance evaluation approach. We demonstrate how our metrics can be utilised to evaluate NILM algorithms by means of two case studies. We conduct our studies on several energy consumption datasets and take into consideration five state-of-the-art as well as four baseline NILM solutions. Finally, we formulate research challenges for future work.

研究动机与目标

• 解决缺乏用于评估NILM模型在未见建筑间可迁移性的领域特定指标的问题。
• 提供一个系统化的评估框架，以评估NILM算法在已见家庭之外的泛化性能。
• 通过量化模型在未见测试场景中的表现，使研究人员能够检测过拟合。
• 通过引入可迁移性感知的评估方式，补充现有性能指标，以提高可复现性和模型选择能力。
• 提出未来研究在NILM泛化与迁移学习方面的开放性挑战。

提出的方法

• 提出泛化比率（GR）作为未见房屋性能与已见房屋性能的比值，用于衡量相对可迁移性。
• 引入未见房屋准确率（AUH）和未见房屋误差（EUH），用于量化分类和回归任务在新建筑上的表现。
• 将平均泛化损失（MGL）定义为未见房屋上的平均损失，仅适用于1对N或1对1的迁移设置。
• 在多个数据集上应用这些指标，并使用分类和回归任务评估五种最先进和四种基线NILM算法。
• 通过案例研究展示指标在真实世界评估场景中的实用性，包括模型比较和过拟合检测。
• 在GitHub上提供开源实现，以确保可复现性，并促进未来研究者的采用。

实验结果

研究问题

• RQ1 当在未见建筑上测试时，如何对NILM模型的泛化性能进行定量评估？
• RQ2 哪些指标最能捕捉NILM模型在不同家庭或数据集之间的可迁移性？
• RQ3 传统性能指标为何无法反映模型的泛化能力，所提出的指标在哪些方面提供了改进？
• RQ4 所提出的指标在多大程度上能够检测在特定家庭上训练的NILM模型的过拟合现象？
• RQ5 如何在包括1对N和M对N设置在内的多样化NILM评估场景中，实现可迁移性的稳定评估？

主要发现

• 泛化比率（GR）能有效捕捉模型迁移到未见建筑时的性能相对下降，数值越低表示可迁移性越差。
• 未见房屋准确率（AUH）和未见房屋误差（EUH）为新测试场景中的模型表现提供了直接且可解释的度量，支持跨算法比较。
• 平均泛化损失（MGL）在1对N迁移场景中是可靠的指标，但需针对M对N训练设置进行调整。
• 所提出的指标能有效识别NILM模型中的过拟合现象，尤其是在已见房屋上表现良好但未见房屋上表现差的情况下。
• 案例研究表明，最先进模型并不总是具有良好的泛化能力，使用可迁移性指标可揭示未见建筑上的显著性能下降。
• 作者建议将GR与AUH/EUH整合到标准NILM评估流程中，以提升模型的鲁棒性和可复现性。