[论文解读] Space Complexity of Euclidean Clustering

Xiaoyi Zhu, Yuxiang Tian+2 more|arXiv (Cornell University)|Jan 1, 2024

Advanced Clustering Algorithms Research被引用 1

一句话总结

本文首次研究了欧几里得空间中 (k, z)-聚类的空间复杂度，证明当 k 为常数时，存储核样本（coreset）在渐近意义上是最优的，其空间复杂度接近紧致的 Θ(nd) 位。研究发现维度压缩无法降低空间复杂度，并引入了涉及主角和差异性的新颖几何技术，以证明紧致的下界。

ABSTRACT

The $(k, z)$-Clustering problem in Euclidean space $\mathbb{R}^d$ has been extensively studied. Given the scale of data involved, compression methods for the Euclidean $(k, z)$-Clustering problem, such as data compression and dimension reduction, have received significant attention in the literature. However, the space complexity of the clustering problem, specifically, the number of bits required to compress the cost function within a multiplicative error $\varepsilon$, remains unclear in existing literature. This paper initiates the study of space complexity for Euclidean $(k, z)$-Clustering and offers both upper and lower bounds. Our space bounds are nearly tight when $k$ is constant, indicating that storing a coreset, a well-known data compression approach, serves as the optimal compression scheme. Furthermore, our lower bound result for $(k, z)$-Clustering establishes a tight space bound of $Θ( n d )$ for terminal embedding, where $n$ represents the dataset size. Our technical approach leverages new geometric insights for principal angles and discrepancy methods, which may hold independent interest.

研究动机与目标

• 研究欧几里得空间中 (k, z)-聚类问题的根本空间复杂度。
• 确定基于核样本的压缩是否最优，或维度压缩是否能进一步降低空间使用量。
• 弥合 (k, z)-聚类问题在空间复杂度上的已知上界与下界之间的差距。
• 作为推导结果，建立终端嵌入（terminal embedding）的紧致空间下界。
• 开发涉及主角和差异性的新型几何工具，用于分析聚类代价压缩。

提出的方法

• 提出一种新框架，用于分析在乘法误差 ε 内压缩 (k, z)-聚类代价所需的最少位数。
• 以核样本构造作为上界基准技术，表明量化核样本需要 ˜O(|S|·d) 位，其中 |S| 为核样本大小。
• 利用子空间之间主角的几何洞察，将子空间构型与聚类代价差异关联起来。
• 应用差异性方法，构造具有受控代价差异的大规模点集族，从而获得强下界。
• 通过递归与组合论证，将 z=1 时的结果推广至一般 z≥1，将 k=2 的情况推广至一般 k≥2。
• 将下界框架应用于终端嵌入，证明当 d≥Ω(log n log(n/ε)/ε²) 时，其空间复杂度为紧致的 Ω(nd)。

实验结果

研究问题

• RQ1 在空间复杂度方面，核样本是否是 (k, z)-聚类的最优压缩方案？
• RQ2 维度压缩技术能否将存储聚类代价的空间复杂度降低至 O(nd) 以下？
• RQ3 在乘法误差 ε 内压缩 (k, z)-聚类代价函数的最紧致可能空间复杂度是多少？
• RQ4 (k, z)-聚类的空间复杂度与终端嵌入的空间复杂度有何关系？
• RQ5 能否利用主角的几何结构来推导出聚类代价压缩的强下界？

主要发现

• 当 k 为常数时，(k, z)-聚类的空间复杂度为 Θ(nd)，表明核样本在压缩方面渐近最优。
• 对于终端嵌入，当 d≥Ω(log n log(n/ε)/ε²) 时，其空间复杂度被紧致地界定为 Θ(nd)，建立了紧致下界。
• 维度压缩无法将空间复杂度降低至 O(nd) 以下，意味着在位存储方面无法优于基于核样本的压缩。
• 本文提供了近乎紧致的上界与下界，填补了理论理解中的重大空白。
• 涉及主角和差异性的几何技术不仅对下界证明至关重要，也可能在几何分析中具有独立兴趣。
• 结果表明，在分布式与流式计算环境中，通信与空间复杂度本质上与维度 d 相关，无法通过嵌入技术降低。