[论文解读] On Euclidean $k$-Means Clustering with $\alpha$-Center Proximity

Amit Deshpande, Anand Louis+1 more|arXiv (Cornell University)|Apr 28, 2018

Facility Location and Emergency Management被引用 3

一句话总结

本文研究了在 $\alpha$-center proximity 约束下的欧几里得 $k$-means 聚类问题，其中每个点到其所属聚类中心的距离严格小于到其他任何聚类中心距离的 $\alpha > 1$ 倍。本文提出了一种固定参数可追踪算法，其时间复杂度在 $k$ 和 $1/(α-1)$ 上呈指数级增长，但在数据规模和维度上呈线性关系。同时，本文证明了即使在 $\alpha$-center proximity 条件下，将该问题近似到 $1+\varepsilon_0$ 因子以内也是 NP-难的，其中 $\varepsilon_0 > 0$ 为任意常数。

ABSTRACT

$k$-means clustering is NP-hard in the worst case but previous work has shown efficient algorithms assuming the optimal $k$-means clusters are \\emph{stable} under additive or multiplicative perturbation of data. This has two caveats. First, we do not know how to efficiently verify this property of optimal solutions that are NP-hard to compute in the first place. Second, the stability assumptions required for polynomial time $k$-means algorithms are often unreasonable when compared to the ground-truth clusters in real-world data. A consequence of multiplicative perturbation resilience is \\emph{center proximity}, that is, every point is closer to the center of its own cluster than the center of any other cluster, by some multiplicative factor $\\alpha > 1$. We study the problem of minimizing the Euclidean $k$-means objective only over clusterings that satisfy $\\alpha$-center proximity. We give a simple algorithm to find the optimal $\\alpha$-center-proximal $k$-means clustering in running time exponential in $k$ and $1/(\\alpha - 1)$ but linear in the number of points and the dimension. We define an analogous $\\alpha$-center proximity condition for outliers, and give similar algorithmic guarantees for $k$-means with outliers and $\\alpha$-center proximity. On the hardness side we show that for any $\\alpha' > 1$, there exists an $\\alpha \\leq \\alpha'$, $(\\alpha >1)$, and an $\\varepsilon_0 > 0$ such that minimizing the $k$-means objective over clusterings that satisfy $\\alpha$-center proximity is NP-hard to approximate within a multiplicative $(1+\\varepsilon_0)$ factor.

研究动机与目标

• 通过聚焦于一种现实的结构假设——$\alpha$-center proximity，弥合 $k$-means 聚类在理论上的难解性与实际效率之间的差距。
• 设计一种高效算法，以最小化在 $\alpha$-center proximity 约束下的 $k$-means 目标函数，该约束是一种在真实世界数据中观察到的自然稳定性条件。
• 通过为异常值处理引入类似的 $\alpha$-center proximity 条件，将该框架扩展至含异常值的聚类问题。
• 建立在 $\alpha$-center proximal $k$-means 问题中，即使在结构约束下，也无法在优于 $1+\varepsilon_0$ 的常数因子内实现近似，从而揭示其内在计算难度。

提出的方法

• 提出一种新问题形式化：仅在满足 $\alpha$-center proximity 的聚类中最小化 $k$-means 目标函数，其定义为：对所有 $x \in C_i$，$i \neq j$，有 $\text{dist}(x, \mu_j) > \alpha \cdot \text{dist}(x, \mu_i)$，且 $\alpha > 1$。
• 设计一种基于动态规划的算法，其时间复杂度为 $2^{O(k + 1/(\alpha-1))} \cdot \text{poly}(n,d)$，在 $k$ 和 $1/(α-1)$ 上呈指数级增长，但在点数 $n$ 和维度 $d$ 上呈线性关系。
• 为含异常值的聚类问题引入类似的 $\alpha$-center proximity 条件，确保异常值与其对应中心的距离与内点与其中心的距离之间存在乘法差距。
• 通过从顶点覆盖问题的归约，证明即使 $\alpha$ 被限制在任意 $\alpha' > 1$ 以下，将 $\alpha$-center proximal $k$-means 问题近似到 $1+\varepsilon_0$ 因子以内也是 NP-难的。
• 构造一个实例族，其包含 $\Omega(2^{\tilde{\Omega}(k/(\alpha^2-1))})$ 个不同的 $\alpha$-center proximal 聚类，表明在 $k$ 和 $1/(α-1)$ 上的指数依赖关系在最坏情况下是必要的。

实验结果

研究问题

• RQ1 尽管一般 $k$-means 问题为 NP-难，我们能否设计一种在 $\alpha$-center proximity 约束下的高效聚类算法？
• RQ2 $\alpha$-center proximity 条件是否足以支持 $k$-means 的固定参数可追踪算法？其对 $k$ 和 $\alpha$ 的依赖关系如何？
• RQ3 $\alpha$-center proximity 条件能否扩展至处理含异常值的聚类问题？该条件是否保持算法的可追踪性？
• RQ4 即使在结构约束下，$\alpha$-center proximal $k$-means 问题是否可近似到优于 $1+\varepsilon_0$ 的常数因子？其中 $\varepsilon_0 > 0$ 为任意常数。
• RQ5 对于给定的 $k$ 和 $\alpha$，可能存在的不同 $\alpha$-center proximal 聚类的最大数量是多少？

主要发现

• 本文提出一种固定参数可追踪算法，用于 $\alpha$-center proximal $k$-means 聚类，其运行时间为 $2^{O(k + 1/(\alpha-1))} \cdot \text{poly}(n,d)$，在 $k$ 和 $1/(α-1)$ 上呈指数级增长，但在 $n$ 和 $d$ 上呈线性关系。
• 本文证明，对于任意 $\alpha' > 1$，存在某个 $\alpha \leq \alpha'$，使得在 $\alpha$-center proximal 聚类中最小化 $k$-means 目标函数的问题，无法在 $1+\varepsilon_0$ 因子内近似，其中 $\varepsilon_0 > 0$ 为某个常数。
• 对于给定的 $k$ 和 $\alpha$，$\alpha$-center proximal 聚类的种类数至少为 $2^{\tilde{\Omega}(k/(\alpha^2-1))}$，表明在最坏情况下，对 $k$ 和 $1/(α-1)$ 的指数依赖关系是必要的。
• 为异常值定义了类似的 $\alpha$-center proximity 条件，并将相同的算法保证扩展至在该条件下处理含异常值的 $k$-means 聚类问题。
• 即使聚类大小下限为 $\omega n/k$（其中 $\omega > 0$），该难解性结果依然成立，表明该约束并未使问题在近似意义上变得可追踪。