[论文解读] Performance of Johnson-Lindenstrauss Transform for k-Means and k-Medians Clustering

Konstantin Makarychev, Yury Makarychev+1 more|arXiv (Cornell University)|Nov 8, 2018

Automated Road and Building Extraction被引用 6

一句话总结

该论文证明，当将数据投影到 O(log(k/ε)/ε²) 维时，Johnson-Lindenstrauss (JL) 变换可将任意 k-means 或 k-medians 聚类解的代价保持在 (1+ε) 因子内。该结果适用于任意次高斯尾部的维度压缩映射，解决了 k-means 的一个开放问题，并推广至任意常数 p≥1 的 ℓp-聚类。

ABSTRACT

Consider an instance of Euclidean $k$-means or $k$-medians clustering. We show that the cost of the optimal solution is preserved up to a factor of $(1+\varepsilon)$ under a projection onto a random $O(\log(k / \varepsilon) / \varepsilon^2)$-dimensional subspace. Further, the cost of every clustering is preserved within $(1+\varepsilon)$. More generally, our result applies to any dimension reduction map satisfying a mild sub-Gaussian-tail condition. Our bound on the dimension is nearly optimal. Additionally, our result applies to Euclidean $k$-clustering with the distances raised to the $p$-th power for any constant $p$. For $k$-means, our result resolves an open problem posed by Cohen, Elder, Musco, Musco, and Persu (STOC 2015); for $k$-medians, it answers a question raised by Kannan.

研究动机与目标

• 建立 k-means 和 k-medians 聚类的维度压缩保证，使聚类代价保持在 (1+ε) 因子内。
• 解决 Cohen 等人（STOC 2015）提出的关于 JL 变换在 k-means 聚类中适用性的开放问题。
• 将分析从 k-means 扩展至任意常数 p≥1 的一般 ℓp-聚类。
• 表明维度界近乎最优，并对所有可能的聚类（而不仅是最优聚类）统一适用。

提出的方法

• 使用具有次高斯尾部的随机投影映射 π: ℝ^m → ℝ^d 来降低维度，同时保持聚类代价。
• 应用概率论证，证明对于数据集 X 的所有划分 𝒞，𝒞 的代价以高概率在 (1+ε) 因子内被保留为 π(𝒞) 的代价。
• 通过函数 F(v,λ) 的对偶论证，利用凸组合和松弛三角不等式来界定投影下聚类代价的偏差。
• 引入距离扩展图和一组权重向量 Λ_η，以控制投影下成对距离的行为。
• 使用反证法：若太多点违反 (1+ε) 的失真界限，则特定 λ* 将违反对偶泛函的可行性。
• 将结果应用于 k-means (p=2) 和 k-medians (p=1)，并推广至任意常数 p≥1 的 ℓp 目标。

实验结果

研究问题

• RQ1 Johnson-Lindenstrauss 变换是否可在维度压缩下将任意 k-聚类的代价保持在 (1+ε) 因子内？
• RQ2 为确保所有聚类（而不仅是最优聚类）的代价保持在 (1+ε) 因子内，所需的最优维度 d 是多少？
• RQ3 JL 变换是否保持 k-medians 聚类的代价，且能否以比先前已知更紧的维度界证明这一点？
• RQ4 O(log(k/ε)/ε²) 的维度界是否对 ℓp-目标的 k-聚类近乎最优？
• RQ5 能否使用次高斯尾部映射，将分析扩展至任意常数 p≥1 的一般 ℓp-聚类？

主要发现

• 在以高概率投影到 O(log(k/ε)/ε²) 维时，所有 k-聚类的代价均保持在 (1+ε) 因子内。
• 维度界 d = O(log(k/ε)/ε²) 几乎最优，且对所有聚类（而不仅是最优聚类）统一适用。
• 对于 k-means (p=2)，该结果解决了 Cohen 等人（STOC 2015）提出的关于 JL 变换适用性的开放问题。
• 对于 k-medians (p=1)，该结果回答了 Kannan 提出的关于维度压缩保证的问题。
• 分析可推广至任意常数 p≥1 的 ℓp-聚类，维度界按 O(p⁴·log(k/εδ)/ε²) 缩放。
• 该结果适用于任意次高斯尾部的随机投影映射，包括高斯分布、正交投影和 i.i.d. 次高斯投影。