[论文解读] Towards Optimal Lower Bounds for k-median and k-means Coresets

Vincent Cohen-Addad, Kasper Green Larsen+2 more|arXiv (Cornell University)|Feb 25, 2022

Facility Location and Emergency Management被引用 4

一句话总结

本文在各种度量空间中为 k-中位数和 k-均值聚类的压缩核大小建立了紧致的下界，证明在一般有限度量空间中，任何压缩核必须包含至少 Ω(k log n / ε²) 个点，在具有膨胀维数 D 的膨胀度量空间中为 Ω(kD / ε²)，在 d 维欧几里得空间中为 Ω(k / ε²)。本文通过一种新颖的压缩核构造方法，实现了 Õ(k / ε² · min(ε⁻ᶻ, k)) 的大小，打破了 ε⁻⁴ 的障碍，并在欧几里得空间中与下界保持多对数因子内的匹配。

ABSTRACT

Given a set of points in a metric space, the $(k,z)$-clustering problem consists of finding a set of $k$ points called centers, such that the sum of distances raised to the power of $z$ of every data point to its closest center is minimized. Special cases include the famous k-median problem ($z = 1$) and k-means problem ($z = 2$). The $k$-median and $k$-means problems are at the heart of modern data analysis and massive data applications have given raise to the notion of coreset: a small (weighted) subset of the input point set preserving the cost of any solution to the problem up to a multiplicative $(1 \pm \varepsilon)$ factor, hence reducing from large to small scale the input to the problem. In this paper, we present improved lower bounds for coresets in various metric spaces. In finite metrics consisting of $n$ points and doubling metrics with doubling constant $D$, we show that any coreset for $(k,z)$ clustering must consist of at least $Ω(k \varepsilon^{-2} \log n)$ and $Ω(k \varepsilon^{-2} D)$ points, respectively. Both bounds match previous upper bounds up to polylog factors. In Euclidean spaces, we show that any coreset for $(k,z)$ clustering must consists of at least $Ω(k\varepsilon^{-2})$ points. We complement these lower bounds with a coreset construction consisting of at most $ ilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$ points.

研究动机与目标

• 解决 k-中位数和 k-均值聚类在多种度量空间中压缩核大小的已知上下界之间的差距。
• 在 d 维欧几里得空间中首次建立 k-中位数和 k-均值压缩核的紧致下界，证明 Ω(k / ε²) 是必要的。
• 设计一种具有最优 ε 依赖性的新型压缩核构造方法，打破欧几里得空间中 k-中位数和 k-均值的 ε⁻⁴ 障碍。
• 在膨胀度量空间和一般有限度量空间中提供紧致的界，与现有上界保持多对数因子内的匹配。
• 引入一种新颖的基于链式结构的分析技术，该技术在压缩核和近似算法设计中可能具有独立兴趣。

提出的方法

• 通过在有限度量空间中将问题归约为一个困难实例的构造，利用概率和几何论证推导出下界，证明任何压缩核必须包含 Ω(k log n / ε²) 个点。
• 在膨胀度量空间中采用类似构造，证明需要 Ω(kD / ε²) 个点，与已知上界在对数因子内匹配。
• 在欧几里得空间中，为 (k,z)-聚类建立 Ω(k / ε²) 的下界，优于之前针对 k-中位数的 Ω(k / √ε) 下界。
• 提出一种基于新颖链式结构分析的新型压缩核构造方法，以控制近似误差，实现大小为 Õ(k / ε² · min(ε⁻ᶻ, k)) 的结果。
• 采用两部分误差分析：一部分针对远距离点（使用集中不等式），另一部分针对邻近点（通过几何和代价比论证）。
• 对输入空间进行递归分解为簇，并应用类似马尔可夫不等式的不等式来控制代价近似中的相对误差。

实验结果

研究问题

• RQ1 在一般有限度量空间中，k-中位数和 k-均值聚类的压缩核大小的最优下界是什么？
• RQ2 度量空间的膨胀维数 D 如何影响 (k,z)-聚类所需的最小压缩核大小？
• RQ3 在 d 维欧几里得空间中，k-中位数和 k-均值聚类的压缩核大小的最紧致下界是什么？
• RQ4 能否设计一种在欧几里得空间中具有最优 ε 依赖性的压缩核构造方法，打破 ε⁻⁴ 障碍？
• RQ5 可以使用哪些新颖的分析技术来证明具有改进 ε 和 k 依赖性的压缩核近似保证？

主要发现

• 在包含 n 个点的一般有限度量空间中，任何 (ε,k,z)-压缩核必须包含至少 Ω(k log n / ε²) 个点，与最佳已知上界在多对数因子内匹配。
• 对于膨胀维数 D 的膨胀度量空间，任何压缩核的大小必须为 Ω(kD / ε²)，与已知的 k-中位数和 k-均值上界在对数因子内匹配。
• 在 d 维欧几里得空间中，本文证明了 (k,z)-聚类的下界为 Ω(k / ε²)，优于之前针对 k-中位数的 Ω(k / √ε) 下界。
• 作者构造了一个大小为 Õ(k / ε² · min(ε⁻ᶻ, k)) 的压缩核，用于欧几里得空间中的 (k,z)-聚类，优于先前的 Õ(k²ε⁻⁴) 和 Õ(kε⁻⁴) 的界。
• 该构造打破了欧几里得空间中 k-中位数和 k-均值压缩核大小长期存在的 ε⁻⁴ 障碍，实现了最优的 ε 依赖性。
• 综上，欧几里得空间中 k-中位数的上下界在 O(ε⁻¹ polylog k / ε) 因子内是紧致的，从而在对数因子内解决了关于 ε 的渐近依赖性问题。