[论文解读] Neighborhood Features Help Detecting Non-Technical Losses in Big Data Sets

Patrick Glauner, Jorge Augusto Meira+5 more|arXiv (Cornell University)|Jul 4, 2016

Electricity Theft Detection Techniques参考文献 25被引用 10

一句话总结

本文提出了一种新颖的特征工程方法，用于通过基于电网的客户聚类所提取的空间邻域特征，检测电力配电网中的非技术线损（NTL）。通过将这些特征与时间序列和主数据特征结合，该方法在包含3100万条电表读数的大型数据集上，利用四种可扩展的机器学习模型，在非技术线损比例（1%–90%）多样的情况下，显著提升了NTL检测的准确性，其中随机森林模型取得了最高的AUC值0.628。

ABSTRACT

Electricity theft is a major problem around the world in both developed and developing countries and may range up to 40% of the total electricity distributed. More generally, electricity theft belongs to non-technical losses (NTL), which are losses that occur during the distribution of electricity in power grids. In this paper, we build features from the neighborhood of customers. We first split the area in which the customers are located into grids of different sizes. For each grid cell we then compute the proportion of inspected customers and the proportion of NTL found among the inspected customers. We then analyze the distributions of features generated and show why they are useful to predict NTL. In addition, we compute features from the consumption time series of customers. We also use master data features of customers, such as their customer class and voltage of their connection. We compute these features for a Big Data base of 31M meter readings, 700K customers and 400K inspection results. We then use these features to train four machine learning algorithms that are particularly suitable for Big Data sets because of their parallelizable structure: logistic regression, k-nearest neighbors, linear support vector machine and random forest. Using the neighborhood features instead of only analyzing the time series has resulted in appreciable results for Big Data sets for varying NTL proportions of 1%-90%. This work can therefore be deployed to a wide range of different regions around the world.

研究动机与目标

• 解决大规模电力配电网中非技术线损（NTL）检测的挑战，包括电能窃取和计量错误。
• 克服以往方法仅依赖时间序列用电数据的局限，通过引入空间和上下文客户特征。
• 通过可扩展、可并行化的机器学习模型，提升在不同NTL比例（1%至90%）的不平衡数据集中的检测准确性。
• 评估基于邻域的特征对不同电网规模和数据分布下模型性能的影响。
• 提供一个可部署的框架，适用于多种地理和基础设施背景下的NTL检测。

提出的方法

• 将地理区域划分为不同大小的网格，以捕捉局部客户密度和NTL模式。
• 为每个网格单元计算两个关键的邻域特征：(1) 已检查客户的比例，以及 (2) 被检查出存在NTL的客户比例。
• 从最近一次检查前12个月的日均用电数据中提取时间序列特征。
• 整合类别型主数据特征，如客户类型和接电电压等级。
• 训练四种可扩展、可并行化的机器学习模型：逻辑回归、k近邻、线性SVM和随机森林。
• 使用AUC作为主要评估指标，以衡量在不同NTL比例（1%至90%）下模型的性能。

实验结果

研究问题

• RQ1 与仅使用时间序列特征相比，基于邻域的空间特征在非技术线损检测中提升了多少？
• RQ2 不同网格尺寸对邻域特征的统计分布和预测能力有何影响？
• RQ3 在真实世界的大数据中，不同NTL比例（1%至90%）下，所提出的特征表现如何？
• RQ4 在结合邻域特征、时间序列特征和主数据特征时，哪种机器学习模型表现最佳？
• RQ5 邻域特征在多大程度上减轻了类不平衡和有偏检查标签对NTL检测的影响？

主要发现

• 所有四种模型中，邻域特征的引入均显著提升了检测性能，优于仅使用时间序列数据的先前方法。
• 在3% NTL比例下，随机森林分类器取得了最高的AUC值0.628，且在14种测试比例中的7种中表现最佳。
• 所有模型在不同NTL比例下均保持稳定性能，平均AUC值在0.588至0.606之间，表明对数据不平衡具有鲁棒性。
• 随机森林模型的平均AUC最高（0.5973），且在不同NTL比例下最为一致，尽管其标准差也最高（0.0183）。
• k近邻模型仅在3% NTL比例时表现最佳，而逻辑回归和SVM分别在两种和四种比例下表现最佳。
• 邻域特征表现出良好的统计特性与有意义的分布，支持其在NTL检测预测建模中的应用。