[论文解读] The k-means-u* algorithm: non-local jumps and greedy retries improve k-means++ clustering

Bernd Fritzke|arXiv (Cornell University)|Jun 27, 2017

Data Mining Algorithms and Applications被引用 5

一句话总结

本文提出 k-means-u*，一种增强型聚类算法，通过引入非局部跳跃和贪婪重试机制，改进 k-means++，以逃离次优局部极小值。通过迭代地将最无用的聚类中心向误差最高的区域移动，并施加随机扰动，同时对次优跳跃进行重试，k-means-u* 在多种数据集上显著降低了平方误差和（SSE），相比 k-means++ 最高可提升 8%，且计算开销仅适度增加。

ABSTRACT

We present a new clustering algorithm called k-means-u* which in many cases is able to significantly improve the clusterings found by k-means++, the current de-facto standard for clustering in Euclidean spaces. First we introduce the k-means-u algorithm which starts from a result of k-means++ and attempts to improve it with a sequence of non-local "jumps" alternated by runs of standard k-means. Each jump transfers the "least useful" center towards the center with the largest local error, offset by a small random vector. This is continued as long as the error decreases and often leads to an improved solution. Occasionally k-means-u terminates despite obvious remaining optimization possibilities. By allowing a limited number of retries for the last jump it is frequently possible to reach better local minima. The resulting algorithm is called k-means-u* and dominates k-means++ wrt. solution quality which is demonstrated empirically using various data sets. By construction the logarithmic quality bound established for k-means++ holds for k-means-u* as well.

研究动机与目标

• 为解决 k-means++ 因初始化敏感而收敛至次优局部极小值的局限性。
• 开发一种方法，在不牺牲 k-means++ 理论质量界的前提下提升其聚类结果。
• 通过引入非局部跳跃的重试机制，降低局部优化过早终止的可能性。
• 通过实证验证，k-means-u* 在不同数据分布下，聚类质量（SSE）始终优于 k-means++。

提出的方法

• k-means-u* 算法以 k-means++ 初始化开始，并应用一系列非局部跳跃以优化聚类结果。
• 每次跳跃将最无用的中心（基于局部误差）向局部误差最高的中心方向移动，偏移量为小的随机向量。
• 每次跳跃后，应用标准 k-means 迭代以优化当前配置。
• 若跳跃后误差增加，算法对最近一次跳跃进行有限次贪婪重试，以逃离次优局部极小值。
• 重试通过随机扰动实现，以探索其他可能配置，避免重复陷入次优路径。
• 通过确保任何解的质量都不差于初始 k-means++ 结果，该方法保留了 k-means++ 的对数近似界。

实验结果

研究问题

• RQ1 结合非局部跳跃与贪婪重试，能否显著提升 k-means++ 的聚类质量？
• RQ2 为何 k-means-u* 在仍存在优化潜力时，有时会过早终止？
• RQ3 在不同数据结构和 k 值下，k-means-u* 相较于 k-means++ 能在多大程度上降低平方误差和（SSE）？
• RQ4 在高维或复杂数据场景下，k-means-u* 的计算成本与 k-means++ 和 k-means-u 相比如何？

主要发现

• 在多种数据集上，k-means-u* 相较于 k-means++ 的平均 SSE 降低最高达 8%，改善程度因数据结构和 k 值而异。
• 在推进力数据集中，所有 k-means++ 解均被 k-means-u* 改进，尽管平均改善仅约 2%。
• 该算法仅带来适度的计算开销，最大为 k-means++ 的 230%，在最大数据集上低于 50%。
• k-means-u* 在解质量上始终优于 k-means-u 和 k-means++，且由于重试机制，误差呈严格单调下降。
• k-means-u* 保留了 k-means++ 的对数质量界，确保了解质量的理论保障。
• 即使当 k 为聚类数量的低倍数时（此时 k-means++ 表现困难），该方法依然有效，且在高维场景（如 5D 高斯混合模型）中表现良好。