[论文解读] Performance Comparison of Incremental K-means and Incremental DBSCAN Algorithms

Sanjay Chakraborty, Naresh Kumar Nagwani+1 more|arXiv (Cornell University)|Jun 18, 2014

Internet Traffic Analysis and Secure E-voting参考文献 6被引用 41

一句话总结

本文在空气质量数据库上对比了增量K均值与增量DBSCAN算法，评估其在动态环境中的性能。结果表明，增量DBSCAN在处理数据变化方面优于增量K均值，尤其在聚类质量与对演化数据模式的适应性方面表现更优。

ABSTRACT

Incremental K-means and DBSCAN are two very important and popular clustering techniques for today's large dynamic databases (Data warehouses, WWW and so on) where data are changed at random fashion. The performance of the incremental K-means and the incremental DBSCAN are different with each other based on their time analysis characteristics. Both algorithms are efficient compare to their existing algorithms with respect to time, cost and effort. In this paper, the performance evaluation of incremental DBSCAN clustering algorithm is implemented and most importantly it is compared with the performance of incremental K-means clustering algorithm and it also explains the characteristics of these two algorithms based on the changes of the data in the database. This paper also explains some logical differences between these two most popular clustering algorithms. This paper uses an air pollution database as original database on which the experiment is performed.

研究动机与目标

• 评估并比较增量K均值与增量DBSCAN在动态、大规模数据库中的性能。
• 分析两种算法在真实场景中随时间推移处理数据更新与变化的方式。
• 识别在不同数据分布与更新频率下，两种算法的优势与局限性。
• 为动态数据仓库中的聚类质量与计算效率提供实证证据。
• 突出K均值与DBSCAN在增量学习设置下的逻辑与结构差异。

提出的方法

• 本研究实现了K均值与DBSCAN算法的增量版本，用于动态数据处理。
• 使用空气质量数据库作为真实世界数据集，以模拟数据模式的演变。
• 性能指标包括聚类准确率、处理时间以及对数据更新的适应能力。
• 通过在不同数据插入与更新频率下评估算法，以检验其可扩展性。
• 两种算法的增量特性支持在线学习，无需重新处理整个数据集。
• 实验基于时间复杂度、聚类质量与数据漂移下的稳定性，对两种算法进行比较。

实验结果

研究问题

• RQ1 在动态数据更新下，增量K均值与增量DBSCAN在处理时间与准确率方面的表现如何？
• RQ2 当数据随时间演变时，增量K均值与增量DBSCAN在适应性方面存在哪些关键差异？
• RQ3 在如空气质量数据这类真实世界的动态数据库中，聚类算法的选择如何影响结果质量？
• RQ4 在哪些场景下，增量DBSCAN在聚类稳定性与精确度方面优于增量K均值？
• RQ5 两种算法如何在不进行完整重新聚类的情况下处理数据插入与聚类结构变化？

主要发现

• 与增量K均值相比，增量DBSCAN在处理数据变化方面表现出更优性能，尤其在聚类质量与适应性方面。
• 当随时间引入新数据点时，增量DBSCAN能更好地保持聚类稳定性和准确性。
• 增量K均值对数据顺序与初始质心位置更为敏感，影响结果的一致性。
• 与批处理版本相比，两种算法在时间、成本与计算开销方面均更高效。
• 随着数据量与更新频率的增加，性能差异更加显著。
• 增量DBSCAN在检测形状与密度各异的聚类方面更具鲁棒性，这对真实世界动态数据库至关重要。