[论文解读] Scalable K-Means++

Bahman Bahmani, Benjamin Moseley+3 more|arXiv (Cornell University)|Mar 29, 2012

Data Management and Algorithms被引用 15

一句话总结

本文提出 k-means||，一种可扩展的、并行化的 k-means++ 初始化算法，将数据的顺序遍历次数从 k 次减少到对数或常数数量级。通过使用基于平方距离的多轮采样过程，它在实现对最优 k-means 解的常数因子近似的同时，实现了高效的并行化，在大规模数据集的顺序和分布式设置下均优于 k-means++。

ABSTRACT

Over half a century old and showing no signs of aging, k-means remains one of the most popular data processing algorithms. As is well-known, a proper initialization of k-means is crucial for obtaining a good final solution. The recently proposed k-means++ initialization algorithm achieves this, obtaining an initial set of centers that is provably close to the optimum solution. A major downside of the k-means++ is its inherent sequential nature, which limits its applicability to massive data: one must make k passes over the data to find a good initial set of centers. In this work we show how to drastically reduce the number of passes needed to obtain, in parallel, a good initialization. This is unlike prevailing efforts on parallelizing k-means that have mostly focused on the post-initialization phases of k-means. We prove that our proposed initialization algorithm k-means|| obtains a nearly optimal solution after a logarithmic number of passes, and then show that in practice a constant number of passes suffices. Experimental evaluation on real-world large-scale data demonstrates that k-means|| outperforms k-means++ in both sequential and parallel settings.

研究动机与目标

• 为解决 k-means++ 初始化中固有的顺序瓶颈问题，该问题需要对数据进行 k 次遍历，限制了在大规模数据集上的可扩展性。
• 设计一种并行初始化算法，保持 k-means++ 的强理论保证，同时在 MapReduce 等分布式环境中有高效执行能力。
• 证明在实践中，常数数量的遍历次数足以实现高质量聚类，即使理论界为对数级别。
• 通过实验验证，k-means|| 在真实世界的大规模数据集上，无论在收敛速度还是解的质量方面，均优于 k-means++。

提出的方法

• 提出 k-means||，一种多轮采样算法，每轮并行选择多个中心，基于其对降低总 k-means 成本的贡献。
• 使用与现有中心距离的平方成比例的概率分布，并通过全局缩放因子调整，以确保各轮之间采样平衡。
• 采用递归采样策略，使得每轮的选择概率依赖于前序轮次的累积效应，从而保持对近似质量的理论边界。
• 引入潜在函数 φ′_A 以追踪采样后每个最优聚类 A 的期望代价，结合线性规划与对偶分析，以界定期望代价。
• 应用非平凡的概率分析，表明遗漏优质中心的概率随轮次数呈指数下降，从而实现常数因子近似。
• 利用幂平均不等式和三角不等式界定聚类的期望代价，最终得出相对于最优解的 O(1) 近似保证。

实验结果

研究问题

• RQ1 能否在不牺牲 k-means++ 理论近似保证的前提下，将 k-means++ 的顺序初始化并行化？
• RQ2 在并行环境下，实现对最优 k-means 解的常数因子近似，最少需要多少次遍历？
• RQ3 在大规模数据上，具有并行中心选择的多轮采样策略是否在实践中优于单轮 k-means++？
• RQ4 能否将 k-means++ 的理论分析扩展到并行框架，同时保持 O(log k) 或常数近似因子？

主要发现

• k-means|| 实现了对最优 k-means 解的常数因子近似，其期望代价被界定为 8φ* + (α + (1−α)/2)φ，其中 φ* 为最优代价。
• 理论上，该算法仅需 O(log k) 次遍历即可实现常数近似，但在实践中，常数数量的遍历（例如 5–15 次）已足以获得高质量结果。
• 在真实世界数据集上的实验评估表明，k-means|| 在顺序和并行执行中均优于 k-means++，收敛更快且聚类代价更低。
• 任何点在初始化中被遗漏的概率随轮次数呈指数下降，从而确保了稳健的中心选择。
• 分析证明，即使在数据不易聚类的情况下，采样后每个聚类的期望代价仍被限制为最优代价的常数倍。
• k-means|| 是一种极易并行化的算法，可轻松实现在 MapReduce 等分布式框架中，适用于大规模数据工作负载。