[论文解读] Noisy, Greedy and Not So Greedy k-means++

Anup Bhattacharya, Jan Eube+2 more|arXiv (Cornell University)|Dec 2, 2019

Machine Learning and Algorithms参考文献 21被引用 5

一句话总结

本文分析了 k-means++ 算法的贪心版本和噪声版本，证明贪心 k-means++ 在期望下退化为 Ω(ℓ·log k) 近似解，其中 ℓ 是每次迭代采样的候选点数量。相比之下，噪声 k-means++——其 D² 采样概率受乘法因子扰动——在期望下可达到 O(log²k) 近似解，表明其对输入噪声具有鲁棒性。

ABSTRACT

The k-means++ algorithm due to Arthur and Vassilvitskii has become the most popular seeding method for Lloyd's algorithm. It samples the first center uniformly at random from the data set and the other $k-1$ centers iteratively according to $D^2$-sampling where the probability that a data point becomes the next center is proportional to its squared distance to the closest center chosen so far. k-means++ is known to achieve an approximation factor of $O(\log k)$ in expectation. Already in the original paper on k-means++, Arthur and Vassilvitskii suggested a variation called greedy k-means++ algorithm in which in each iteration multiple possible centers are sampled according to $D^2$-sampling and only the one that decreases the objective the most is chosen as a center for that iteration. It is stated as an open question whether this also leads to an $O(\log k)$-approximation (or even better). We show that this is not the case by presenting a family of instances on which greedy k-means++ yields only an $Ω(\ell\cdot \log k)$-approximation in expectation where $\ell$ is the number of possible centers that are sampled in each iteration. We also study a variation, which we call noisy k-means++ algorithm. In this variation only one center is sampled in every iteration but not exactly by $D^2$-sampling anymore. Instead in each iteration an adversary is allowed to change the probabilities arising from $D^2$-sampling individually for each point by a factor between $1-ε_1$ and $1+ε_2$ for parameters $ε_1 \in [0,1)$ and $ε_2 \ge 0$. We prove that noisy k-means++ compute an $O(\log^2 k)$-approximation in expectation. We also discuss some applications of this result.

研究动机与目标

• 对一种 k-means++ 的变体——贪心 k-means++ 进行理论分析，该变体在每次迭代中采样多个候选点，并选择使代价最小的点。
• 研究贪心 k-means++ 是否保持标准 k-means++ 的 O(log k) 近似保证。
• 研究 k-means++ 在噪声概率分布下的鲁棒性，提出一种带有对抗性扰动 D² 采样概率的噪声 k-means++ 算法。
• 在 D² 采样概率受到有界乘法扰动的条件下，建立噪声 k-means++ 的理论近似界。
• 探讨在聚类可分性假设下，是否可能实现更优性能，尽管存在贪心 k-means++ 表现不佳的最坏情况实例。

提出的方法

• 提出一种贪心 k-means++ 变体，使用 D² 采样在每次迭代中采样 ℓ 个候选点，并选择能最大程度降低 k-means 代价的点。
• 构建一个最坏情况实例族，证明贪心 k-means++ 在期望下最多能达到 Ω(ℓ·log k) 近似解。
• 引入噪声 k-means++，其中每个点的 D² 采样概率被乘法因子 [1−ε₁, 1+ε₂] 扰动，以建模计算或实现中的噪声。
• 使用概率耦合论证，通过将期望代价与具有有界误差项的已知随机过程关联，来界定噪声 k-means++ 的期望代价。
• 应用一个集中结果（引理 12），表明噪声 k-means++ 的期望代价被有界为 O(log²k) 倍最优代价。
• 分析一种混合变体——适度贪心 k-means++，其结合了标准 D² 采样与以固定概率进行的贪心选择，并推导其期望近似比。

实验结果

研究问题

• RQ1 贪心 k-means++ 算法（采样 ℓ 个候选点并选择最优者）是否保持标准 k-means++ 的 O(log k) 近似保证？
• RQ2 噪声 k-means++（其中 D² 采样概率受乘法因子扰动）是否仍能在期望下实现多项式对数近似？
• RQ3 在最坏情况实例中，贪心 k-means++ 与标准 k-means++ 之间是否存在理论性能差距？
• RQ4 是否可以改进噪声 k-means++ 的分析，以消除近似界中额外的 O(log k) 因子？
• RQ5 在何种聚类可分性假设下，贪心 k-means++ 可能优于标准 k-means++，尽管存在其性能退化的最坏情况？

主要发现

• 贪心 k-means++ 在期望下最多只能达到 Ω(ℓ·log k) 近似解，表明增加 ℓ 并不能改善最坏情况性能，甚至可能使其恶化。
• 所构建的最坏情况实例满足常见的聚类可分性假设（如可分性和近似稳定性），表明其失败并非由于数据结构不佳。
• 当采样概率受 [1−ε₁, 1+ε₂] 因子扰动时，噪声 k-means++ 在期望下可达到 O(log²k) 近似解，表明其对噪声具有鲁棒性。
• 噪声 k-means++ 的近似保证依赖于扰动参数 ε₁ 和 ε₂，其界按 O((ε₁+ε₂)(1+ε₂)/(1−ε₁)²) · log²k 的形式缩放。
• 一种混合变体——适度贪心 k-means++——在固定选择概率 p 下，可实现期望 O(ℓ³·log²k) 近似解，表明贪心程度与鲁棒性之间存在权衡。
• 作者推测，噪声 k-means++ 分析中的 O(log k) 因子是不必要的，且期望代价可能仅由 ε 单独决定的常数所界定。