[论文解读] Random Projections for k-Means: Maintaining Coresets Beyond Merge & Reduce.

Marc Bury, Chris Schwiegelshohn|arXiv (Cornell University)|Apr 7, 2015

Stochastic Gradient Optimization Techniques参考文献 33被引用 3

一句话总结

本文提出了一种新颖的方法，利用Johnson-Lindenstrauss嵌入构建k-means问题的小型coreset，避免了传统merge-and-reduce框架的空间低效性。其在离线情况下实现了最优的coreset大小$\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$，在流式存储中达到$\tilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$的界限，显著提升了数据流中的空间效率。

ABSTRACT

We give a new construction for a small space summary satisfying the coreset guarantee of a data set with respect to the $k$-means objective function. The number of points required in an offline construction is in $ ilde{O}(k \epsilon^{-2}\min(d,k\epsilon^{-2}))$ which is minimal among all available constructions. Aside from two constructions with exponential dependence on the dimension, all known coresets are maintained in data streams via the merge and reduce framework, which incurs are large space dependency on $\log n$. Instead, our construction crucially relies on Johnson-Lindenstrauss type embeddings which combined with results from online algorithms give us a new technique for efficiently maintaining coresets in data streams without relying on merge and reduce. The final number of points stored by our algorithm in a data stream is in $ ilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$.

研究动机与目标

• 解决依赖于merge-and-reduce框架的现有数据流coreset维护方法所面临的高空间复杂度问题。
• 开发一种在离线设置下实现最优大小的coreset构造方法，最小化对维度和近似误差的依赖。
• 在不依赖merge-and-reduce（其会引入$\log n$的空间开销）的前提下，实现在数据流中高效且低空间的coreset维护。
• 将Johnson-Lindenstrauss嵌入与在线算法技术相结合，为k-means问题构建可扩展且空间高效的coreset构造方法。

提出的方法

• 利用Johnson-Lindenstrauss类型的嵌入，将高维数据投影到低维空间，同时保留k-means结构。
• 利用在线算法的研究成果，随着数据在流中到达，逐步维护coreset。
• 在嵌入空间中构建coreset，确保其满足k-means目标的$\epsilon$-近似保证。
• 通过降维减少对原始数据维度$d$的有效依赖，尤其在$d$较大时效果显著。
• 完全避免使用merge-and-reduce框架，消除了对数据点数量$\log n$的空间依赖。
• 将基于嵌入的压缩与在线coreset维护相结合，在数据流中实现接近最优的空间界限。

实验结果

研究问题

• RQ1 是否可以在空间复杂度与$\log n$无关的情况下，在数据流中构建k-means的coreset？
• RQ2 能否通过流式方法实现已知最优的离线coreset大小$\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$？
• RQ3 Johnson-Lindenstrauss嵌入能否与在线coreset技术有效结合，以在不使用merge-and-reduce的前提下保持精度？
• RQ4 在保持$\epsilon$-近似性的同时，维护k-means数据流coreset所需的最小空间是多少？
• RQ5 与基于merge-and-reduce的现有方法相比，该新方法在空间效率上表现如何？

主要发现

• 离线coreset构造实现了$\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$的大小，这是目前已知构造中的最优结果。
• 流式算法存储了$\tilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$个点，显著降低了merge-and-reduce带来的$\log n$依赖。
• 该方法避免了先前两种构造中对维度的指数依赖，使其可扩展至高维数据。
• 通过用Johnson-Lindenstrauss嵌入替代merge-and-reduce，该算法在流式环境中实现了更好的空间效率。
• 该方法以高概率保持了k-means目标的$\epsilon$-近似保证。
• 该方法是首个在不依赖merge-and-reduce的前提下，实现最优离线大小并保持数据流中低空间消耗的构造。