[论文解读] Unexpected Effects of Online K-means Clustering.

Michal Moshkovitz|arXiv (Cornell University)|Aug 9, 2019

Advanced Clustering Algorithms Research被引用 4

一句话总结

本文研究在线 k-means 聚类，并揭示数据排序方式以及对数据集大小 n 的了解会显著影响聚类质量。当 k 为常数时，若数据顺序任意，所需中心数为 Ω(n)；若数据顺序随机且 n 未知，则所需中心数降至 Θ(log n)；若 n 已知，则所需中心数为常数，从而在每种情形下均建立了紧致的渐近界。

ABSTRACT

In this paper we study k-means clustering in the online setting. In the offline setting the main parameters are number of centers, k, and size of the dataset, n. Performance guarantees are given as a function of these parameters. In the online setting new factors come into place: the ordering of the dataset and whether n is known in advance or not. One of the main results of this paper is the discovery that these new factors have dramatic effects on the quality of the clustering algorithms. For example, for constant k: (1) $\Omega(n)$ centers are needed if the order is arbitrary, (2) if the order is random and n is unknown in advance, the number of centers reduces to $\Theta(logn)$, and (3) if n is known, then the number of centers reduces to a constant. For different values of the new factors, we show upper and lower bounds that are exactly the same up to a constant, thus achieving optimal bounds.

研究动机与目标

• 理解在线数据排序方式和对数据集大小 n 的了解如何影响 k-means 聚类的性能。
• 分析这些新因素——排序方式和对 n 的了解——对有效聚类所需中心数的影响。
• 在排序方式和对 n 的了解的不同组合下，建立所需中心数的紧致上下界。
• 为考虑动态数据到达和有限先验知识的在线 k-means 聚类提供理论保证。

提出的方法

• 在不同数据到达模型下分析在线 k-means：任意顺序、随机顺序，以及已知与未知 n 的情形。
• 推导出在 k、n 和数据排序方式参数化下，保持聚类质量所需中心数的理论上下界。
• 使用渐近分析表明，所有情形下的界均紧致，仅相差常数因子。
• 基于数据到达序列和对 n 的了解，形式化中心数与聚类质量之间的权衡。
• 应用概率论和对抗性论证，建立在任意顺序和随机顺序下的下界。

实验结果

研究问题

• RQ1 对于常数 k，任意数据排序如何影响在线 k-means 聚类中所需中心数？
• RQ2 当 n 事先未知时，随机数据排序对中心数有何影响？
• RQ3 若事先知道数据集大小 n，如何减少在线 k-means 聚类中所需中心数？
• RQ4 在不同在线聚类场景下，中心数的理论界是否均紧致？

主要发现

• 对于常数 k 和任意数据排序，为保持聚类质量，需要 Ω(n) 个中心。
• 在随机数据排序且 n 未知的情况下，所需中心数减少至 Θ(log n)，实现显著改善。
• 当 n 事先已知时，即使 k 为常数，所需中心数也减少至常数。
• 每种情形下的上下界均紧致，仅相差常数因子，表明具有最优性能保证。