[论文解读] Pattern Recognition and Event Detection on IoT Data-streams

Christos Karras, Aristeidis Karras+1 more|arXiv (Cornell University)|Mar 2, 2022

Anomaly Detection Techniques and Applications被引用 13

一句话总结

本文提出了一种时间复杂度为 O(min(k, n−k)) 的加权蓄水池采样技术，以及一种改进的 k-means 聚类方法，用于物联网数据流中的实时模式识别与事件检测。通过维护数据流的代表性样本，并利用平方误差和（SSE）评估聚类质量，该方法能有效将异常值识别为事件，在 SENSORS 数据集上的精确率、召回率和 F-measure 均优于标准 k-means、DBSCAN 和 E-DBSCAN。

ABSTRACT

Big data streams are possibly one of the most essential underlying notions. However, data streams are often challenging to handle owing to their rapid pace and limited information lifetime. It is difficult to collect and communicate stream samples while storing, transmitting and computing a function across the whole stream or even a large segment of it. In answer to this research issue, many streaming-specific solutions were developed. Stream techniques imply a limited capacity of one or more resources such as computing power and memory, as well as time or accuracy limits. Reservoir sampling algorithms choose and store results that are probabilistically significant. A weighted random sampling approach using a generalised sampling algorithmic framework to detect unique events is the key research goal of this work. Briefly, a gradually developed estimate of the joint stream distribution across all feasible components keeps k stream elements judged representative for the full stream. Once estimate confidence is high, k samples are chosen evenly. The complexity is O(min(k,n-k)), where n is the number of items inspected. Due to the fact that events are usually considered outliers, it is sufficient to extract element patterns and push them to an alternate version of k-means as proposed here. The suggested technique calculates the sum of squared errors (SSE) for each cluster, and this is utilised not only as a measure of convergence, but also as a quantification and an indirect assessment of the element distribution's approximation accuracy. This clustering enables for the detection of outliers in the stream based on their distance from the usual event centroids. The findings reveal that weighted sampling and res-means outperform typical approaches for stream event identification. Detected events are shown as knowledge graphs, along with typical clusters of events.

研究动机与目标

• 解决在高速、生命周期有限的物联网数据流中检测稀有或异常事件的挑战。
• 通过使用加权采样维护数据的代表性子集，降低实时流处理中的计算与内存开销。
• 通过将 k-means 聚类适配于流数据，并以 SSE 作为收敛与近似度量指标，提升事件检测的准确性。
• 通过高效的采样与聚类方法，实现在资源受限的物联网边缘设备上可扩展、低成本的模式识别。

提出的方法

• 使用广义的加权随机采样框架，从数据流中选择 k 个具有概率显著性的代表性元素。
• 应用时间复杂度为 O(min(k, n−k)) 的蓄水池采样，以维护数据流的固定大小、具有代表性的样本。
• 对 k-means 聚类进行改进，使其在采样数据上运行，并将平方误差和（SSE）同时用作收敛判据与分布近似准确度的度量。
• 通过测量 k-means 框架中数据点到聚类中心的距离，将异常值识别为事件。
• 利用知识图谱可视化检测到的事件与典型聚类，提升可解释性。
• 在 SENSORS 数据集上，通过精确率、召回率与 F-measure 对比标准 k-means、DBSCAN 与 E-DBSCAN 评估性能。

实验结果

研究问题

• RQ1 加权蓄水池采样能否以极低的计算成本，高效维护高速物联网数据流的代表性子集？
• RQ2 与标准 k-means 及 DBSCAN 等基于密度的方法相比，所提出的 res-means 聚类方法在事件检测准确性方面有何提升？
• RQ3 将 SSE 作为收敛与近似度量指标，在流式物联网数据中检测异常事件方面，其增强程度如何？
• RQ4 在真实物联网环境中，面对 k 值变化与数据分布漂移，所提出系统能否实现有效可扩展性？

主要发现

• 所提出的 res-means 方法在 SENSORS 数据集上实现了 51.2% 的精确率、44.8% 的召回率与 47.7% 的 F-measure，优于标准 k-means（F-measure 为 30.46）、DBSCAN（F-measure 为 44.64）与 E-DBSCAN（F-measure 为 51.45）。
• 在事件检测方面，该方法检测到 8.4 个 '传感器故障'、12.7 个 '发送噪声数据'、9.4 个 '时间间隔错误' 与 11.2 个 '通信问题'，各项指标均高于各分类中次优方法。
• 尽管无放回采样在统计上更严谨，但带放回的加权采样方法在计算性能上表现更优。
• 该系统展现出良好的可扩展性与效率，即使在 k 值较大时，仍能保持较低的计算成本与较短的处理时间。
• 知识图谱的集成实现了对检测到的事件与典型聚类的有效可视化，显著提升了可解释性。
• 该方法通过测量数据点到聚类中心的距离，有效将异常值识别为事件，同时利用 SSE 作为分布近似的可靠代理。