[论文解读] Sensitivity Sampling Over Dynamic Geometric Data Streams with Applications to $k$-Clustering

Zhao Song, Lin F. Yang+1 more|arXiv (Cornell University)|Feb 1, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用 6

一句话总结

本文提出了一种新颖的数据结构，用于动态几何数据流中的基于敏感度的采样，实现了 $k$-均值及其相关聚类问题的一遍扫描共核构造。其空间复杂度为 $\widetilde{O}(k\mathrm{poly}(d))$，是首个在 $k$ 上近乎线性、在维度 $d$ 上多项式依赖的动态流算法，显著优于以往仅针对 $k$-中位数的结果。该方法可统一扩展至 $k$-中位数、$M$-估计器聚类以及一般距离相关代价函数，仅带来 $\mathrm{poly}(d)$ 的额外开销。

ABSTRACT

Sensitivity based sampling is crucial for constructing nearly-optimal coreset for $k$-means / median clustering. In this paper, we provide a novel data structure that enables sensitivity sampling over a dynamic data stream, where points from a high dimensional discrete Euclidean space can be either inserted or deleted. Based on this data structure, we provide a one-pass coreset construction for $k$-means %and M-estimator clustering using space $\widetilde{O}(k\mathrm{poly}(d))$ over $d$-dimensional geometric dynamic data streams. While previous best known result is only for $k$-median [Braverman, Frahling, Lang, Sohler, Yang' 17], which cannot be directly generalized to $k$-means to obtain algorithms with space nearly linear in $k$. To the best of our knowledge, our algorithm is the first dynamic geometric data stream algorithm for $k$-means using space polynomial in dimension and nearly optimal in $k$. We further show that our data structure for maintaining coreset can be extended as a unified approach for a more general classes of $k$-clustering, including $k$-median, $M$-estimator clustering, and clusterings with a more general set of cost functions over distances. For all these tasks, the space/time of our algorithm is similar to $k$-means with only $\mathrm{poly}(d)$ factor difference.

研究动机与目标

• 解决 $k$-均值聚类在低空间复杂度下缺乏高效动态流算法的问题。
• 将敏感度采样技术扩展至支持插入和删除操作的动态几何数据流。
• 设计一个统一框架，适用于 $k$-中位数、$M$-估计器聚类以及一般基于距离的代价函数。
• 实现空间复杂度在 $k$ 上近乎线性、在维度 $d$ 上为多项式依赖，优于以往仅针对 $k$-中位数的结果。

提出的方法

• 设计一种动态数据结构，用于在插入和删除操作下维护流中点的敏感度分数。
• 利用该数据结构基于敏感度执行重要性采样，确保 $k$-聚类目标的共核质量。
• 通过采样点在数据流上单次遍历构造共核。
• 通过调整敏感度计算，将该框架扩展至处理 $k$-中位数、$M$-估计器聚类以及一般代价函数。
• 确保所有聚类变体的空间和时间复杂度保持在 $\widetilde{O}(k\mathrm{poly}(d))$。
• 利用现有共核理论，保证以高概率获得 $k$-聚类目标的 $(1+\varepsilon)$-近似解。

实验结果

研究问题

• RQ1 能否在支持插入和删除的动态几何数据流中高效维护敏感度采样？
• RQ2 是否可能在空间复杂度近乎线性于 $k$ 且多项式依赖于 $d$ 的动态流中实现 $k$-均值聚类的一遍扫描共核构造？
• RQ3 该框架能否推广至 $k$-中位数、$M$-估计器及其他基于距离的聚类目标？
• RQ4 将共核构造扩展至更一般的代价函数时，其空间和时间开销如何？
• RQ5 基于敏感度的采样策略在动态更新下对不同聚类目标的可扩展性如何？

主要发现

• 所提出的数据结构实现了在动态几何数据流中对 $k$-均值聚类的一遍扫描共核构造，空间复杂度为 $\widetilde{O}(k\mathrm{poly}(d))$。
• 这是首个在 $k$ 上近乎线性、在 $d$ 上多项式依赖的动态流 $k$-均值算法，填补了以往仅支持 $k$-中位数结果的空白。
• 该框架可统一扩展至 $k$-中位数、$M$-估计器聚类及其他基于距离的代价函数，仅带来 $\mathrm{poly}(d)$ 因子的空间和时间开销增加。
• 共核在高概率下保证了所有考虑的 $k$-聚类目标的 $(1+\varepsilon)$-近似解。
• 该方法在动态更新下保持了敏感度采样效率，支持在实时聚类工作负载中的实际部署。
• 该算法在各类聚类目标下实现了近乎最优的共核大小，且开销极小。