[论文解读] Unexpected Effects of Online no-Substitution k-means Clustering

Michal Moshkovitz|arXiv (Cornell University)|Aug 9, 2019

Advanced Clustering Algorithms Research参考文献 19被引用 5

一句话总结

本文研究在线无替换k均值聚类，其中选择点作为中心的决策不可逆且必须按顺序做出。研究建立了紧致的渐近界，表明当k为常数且点顺序随机时，Θ(log n)个中心足以实现常数近似；而若事先知道n，则所需中心数可减少至常数，揭示了点顺序和对n的先验知识对性能具有深远且出人意料的影响。

ABSTRACT

Offline k-means clustering was studied extensively, and algorithms with a constant approximation are available. However, online clustering is still uncharted. New factors come into play: the ordering of the dataset and whether the number of points, n, is known in advance or not. Their exact effects are unknown. In this paper we focus on the online setting where the decisions are irreversible: after a point arrives, the algorithm needs to decide whether to take the point as a center or not, and this decision is final. How many centers are needed and sufficient to achieve constant approximation in this setting? We show upper and lower bounds for all the different cases. These bounds are exactly the same up to a constant, thus achieving optimal bounds. For example, for k-means cost with constant k>1 and random order, Theta(log n) centers are enough to achieve a constant approximation, while the mere a priori knowledge of n reduces the number of centers to a constant. These bounds hold for any distance function that obeys a triangle-type inequality.

研究动机与目标

• 理解点顺序和对数据集大小n的先验知识对在线无替换k均值聚类的影响。
• 确定在在线设置下实现常数近似所需的最少中心数。
• 在不同条件下（随机顺序与最坏顺序、已知与未知n）建立所需中心数的紧致上下界。
• 表明维度无关紧要，但点顺序和对n的了解显著影响性能。
• 对在线聚类格局进行全面分析，识别影响算法效率的主要因素。

提出的方法

• 分析在不可逆决策下的在线k均值聚类：一旦某一点被拒绝，后续无法再被选为中⼼。
• 使用三角不等式类型的方法，将结果推广至ℓ₂距离之外，确保广泛适用性。
• 采用概率论和集中不等式方法，包括马尔可夫不等式和并集界，推导高概率保证。
• 应用一个关键结构引理，表明任意两个所选中心之间的距离至少等于某点在被选时到其最近中心的距离。
• 通过归约到已知代价函数并利用几何不等式来界定聚类代价，推导上下界。
• 同时考虑随机和最坏情况的点顺序，并区分n是否事先已知的设置。

实验结果

研究问题

• RQ1 输入点的排序方式（随机与最坏情况）如何影响在线无替换k均值聚类中实现常数近似所需的中心数？
• RQ2 对数据集大小n的先验知识对实现常数近似所需中心数有何影响？
• RQ3 能否为不同组合的排序方式和n的已知状态建立紧致的渐近界？
• RQ4 数据空间的维度是否会影响在线设置下所需中心数？
• RQ5 当代价函数满足三角不等式类型而非仅ℓ₂范数时，边界如何变化？

主要发现

• 对于常数k > 1且点顺序随机的情况，Θ(log n)个中心在在线无替换k均值聚类中既必要也充分，可实现常数近似。
• 当总点数n事先已知时，所需中心数降至常数，与k > 1无关。
• 在最坏顺序下，即使已知n，仍需Θ(log n)个中心，表明对抗性排序严重限制性能。
• 数据空间的维度d对所需中心数无渐近影响，表明结果在各维度下具有普适性。
• 边界紧致至常数因子，意味着在给定约束下算法权衡达到最优。
• 结果适用于满足三角不等式类型的任意距离函数，而不仅限于ℓ₂范数，表明其在标准k均值之外也具有广泛适用性。