[论文解读] Theoretical Analysis of the $k$-Means Algorithm - A Survey

Johannes Blömer, Christiane Lammersen+2 more|arXiv (Cornell University)|Feb 26, 2016

Advanced Clustering Algorithms Research参考文献 62被引用 9

一句话总结

本综述对k-means算法进行了全面的理论分析，重点研究其收敛性、近似质量及运行时间。研究将分析扩展至Bregman散度，建立了平滑复杂度界限，并推广了k-means++等种子选择方法，以适用于更广泛的相异度度量。

ABSTRACT

The $k$-means algorithm is one of the most widely used clustering heuristics. Despite its simplicity, analyzing its running time and quality of approximation is surprisingly difficult and can lead to deep insights that can be used to improve the algorithm. In this paper we survey the recent results in this direction as well as several extension of the basic $k$-means method.

研究动机与目标

• 提供k-means算法性能的系统性理论综述，包括收敛速度和解的质量。
• 研究在各种输入条件下算法的运行时间及其近似保证。
• 将理论结果从平方欧几里得距离推广至Bregman散度，即更广泛的相似度度量类别。
• 分析初始化策略（种子方法）对解的质量和收敛性的影响。
• 探讨在不同扰动模型和散度类型下k-means问题的复杂度。

提出的方法

• 使用平滑分析方法，对输入点在高斯扰动下的k-means算法预期运行时间进行界限估计。
• 应用一个以σ为参数的抽象扰动模型，分析一般Bregman散度下的k-means算法。
• 引入参数ζ和ξ，用于衡量Bregman散度偏离马哈拉诺比斯距离的程度，从而影响复杂度界限。
• 将k-means++种子选择算法推广至μ-相似Bregman散度，对SBE问题实现O(μ⁻² log k)近似。
• 将自适应采样技术适配至Bregman散度，用于ε-可分实例。
• 将k-means++扩展至混合Bregman散度（一种对称化变体），获得O(ρψ log k)近似因子，其中ρψ用于量化三角不等式违反程度。

实验结果

研究问题

• RQ1 对于Bregman散度，k-means算法的平滑复杂度是多少？能否建立多项式有界？
• RQ2 像k-means++这样的种子方法如何推广至Bregman散度？它们提供了何种近似保证？
• RQ3 在非欧几里得相异度度量下，k-means在收敛时间与解质量方面的理论极限是什么？
• RQ4 Bregman散度的奇点和定义域限制如何影响k-means的理论分析？
• RQ5 Arthur等人针对平方欧几里得距离所建立的多项式平滑复杂度界限，能否推广至一般Bregman散度？

主要发现

• 对于平方欧几里得距离，k-means算法的平滑复杂度在n和1/σ上为多项式，如Arthur、Manthey和Röglin所证明。
• 对于Bregman散度，Manthey和Röglin建立了两个平滑复杂度界限：poly(n^√k, 1/σ) 和 k^kd · poly(n, 1/σ)，两者均与平方欧几里得距离的已知界限一致。
• Bregman散度的界限在参数ξ和1/ζ上呈多项式依赖，这些参数用于衡量其偏离马哈拉诺比斯散度的程度。
• k-means++种子方法被推广至μ-相似Bregman散度，对SBE问题实现O(μ⁻² log k)近似。
• 对于混合Bregman散度，Nock等人实现了O(ρψ log k)近似，其中ρψ量化了三角不等式违反程度。
• 尚未解决的问题是：除非矩阵A的最大特征值被限制为|P|的多项式，否则无法将多项式平滑复杂度界限推广至一般马哈拉诺比斯散度。