[论文解读] Online Cluster Validity Indices for Streaming Data

Masud Moshtaghi, James C. Bezdek+3 more|arXiv (Cornell University)|Jan 8, 2018

Advanced Clustering Algorithms Research参考文献 20被引用 10

一句话总结

本文提出了用于在线流数据的增量聚类有效性指数（iCVIs），通过精确更新和遗忘因子法，提出了Xie-Beni与Davies-Bouldin指数的在线版本。采用遗忘因子的增量Xie-Beni指数（XBλ(n)）在检测聚类演化和实时信号异常方面优于其他变体。

ABSTRACT

Cluster analysis is used to explore structure in unlabeled data sets in a wide range of applications. An important part of cluster analysis is validating the quality of computationally obtained clusters. A large number of different internal indices have been developed for validation in the offline setting. However, this concept has not been extended to the online setting. A key challenge is to find an efficient incremental formulation of an index that can capture both cohesion and separation of the clusters over potentially infinite data streams. In this paper, we develop two online versions (with and without forgetting factors) of the Xie-Beni and Davies-Bouldin internal validity indices, and analyze their characteristics, using two streaming clustering algorithms (sk-means and online ellipsoidal clustering), and illustrate their use in monitoring evolving clusters in streaming data. We also show that incremental cluster validity indices are capable of sending a distress signal to online monitors when evolving clusters go awry. Our numerical examples indicate that the incremental Xie-Beni index with forgetting factor is superior to the other three indices tested.

研究动机与目标

• 为解决流数据中缺乏在线聚类验证方法的问题，因单次遍历数据访问，批量验证技术不再适用。
• 开发内部聚类有效性指数的增量形式，实现实时评估数据流中聚类质量。
• 使在线聚类算法能够自主监控聚类质量，并检测新出现或退化的聚类。
• 通过真实世界数据集评估这些iCVIs在检测演化数据流中显著变化方面的性能。
• 比较遗忘策略与非遗忘策略在长期保持聚类质量评估相关性方面的有效性。

提出的方法

• 提出两种用于组内离散度的增量方法：精确递归更新与指数遗忘因子更新。
• 基于增量离散度估计，推导出Xie-Beni（XB）与Davies-Bouldin（DB）指数的在线版本。
• 将iCVIs应用于两种在线聚类算法：sk-means（无时间记忆）与在线椭球聚类（OEC，具有聚类统计信息记忆）。
• 利用指数动态监控聚类质量，当指数值增加时，最小最优指数值表示质量下降。
• 采用遗忘因子使指数能够降低旧数据权重，提升对概念漂移的响应能力。
• 在真实流数据集LG（环境传感器）与GSA（气体传感器阵列）上验证iCVIs，结合可视化与定量分析。

实验结果

研究问题

• RQ1 内部聚类有效性指数能否适应流数据的在线、增量处理？
• RQ2 iCVIs的遗忘与非遗忘形式如何影响对聚类演化与异常的检测？
• RQ3 iCVIs能否有效实时发出聚类性能下降或新聚类出现的信号？
• RQ4 在具有与不具有时间记忆的聚类算法之间（如OEC与sk-means），iCVIs的性能表现如何比较？
• RQ5 在四种iCVIs（XB(n)、XBλ(n)、DB(n)、DBλ(n)）中，哪一种最可靠地用于监控流式聚类质量？

主要发现

• 采用遗忘因子的增量Xie-Beni指数（XBλ(n)）在检测聚类变化与异常信号方面，优于其他三种测试的iCVIs。
• OEC因保留包括协方差在内的聚类统计信息，其聚类质量显著优于sk-means，表现为更低的iCVI值。
• 在LG数据集中，iCVIs通过在正确时间步出现显著峰值，成功检测到强风与降雪等重大事件。
• 在GSA数据集中，两种iCVIs在气体引入后均显示出延迟但清晰的峰值，气体切换期间出现两个接近的峰值，反映出算法对聚类结构变化的响应。
• iCVIs提供了一种实时、无监督的验证机制，可在聚类质量下降时发出“警报信号”，实现主动监控。
• 非遗忘形式的iCVI（如XB(n)）无法适应概念漂移，而遗忘形式（如XBλ(n)）通过降低过时数据权重，保持了评估的相关性。