[论文解读] Nearly Optimal Dynamic $k$-Means Clustering for High-Dimensional Data

Wei Hu, Zhao Song+2 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Clustering Algorithms Research参考文献 26被引用 5

一句话总结

该论文提出了首个在高维空间中用于 $k$-均值聚类的动态流算法，其空间复杂度在维度 $d$ 上为多项式级别，并在 $k$ 上近乎线性。该方法通过一种新颖的基于敏感度的共核集构造实现，维护一个大小为 $O(kackepsilon^{-2}d^4\log(kd\log\Delta))$ 的 $\epsilon$-共核集，空间复杂度为 $\widetilde{O}(k)\cdot\mathrm{poly}(d,\log\Delta,\epsilon^{-1})$，从而在插入和删除操作下实现高效的近似聚类。

ABSTRACT

We consider the $k$-means clustering problem in the dynamic streaming setting, where points from a discrete Euclidean space $\{1, 2, \ldots, Δ\}^d$ can be dynamically inserted to or deleted from the dataset. For this problem, we provide a one-pass coreset construction algorithm using space $ ilde{O}(k\cdot \mathrm{poly}(d, \logΔ))$, where $k$ is the target number of centers. To our knowledge, this is the first dynamic geometric data stream algorithm for $k$-means using space polynomial in dimension and nearly optimal (linear) in $k$.

研究动机与目标

• 设计一种支持在高维欧几里得空间中插入和删除点的动态流式 $k$-均值聚类算法。
• 实现维度 $d$ 的多项式空间复杂度和在 $k$ 上近乎线性的时间复杂度，该复杂度在对数因子范围内为最优。
• 在单次遍历中使用敏感度采样构造 $\epsilon$-共核集，确保对真实 $k$-均值代价的 $(1+\epsilon)$-近似。
• 克服先前合并-归约和望远镜和框架在动态环境中失败的局限性，尤其是在 $k$-均值场景下。
• 提供一种空间高效、单次遍历的共核集构造方法，可在动态更新下保持高概率保证。

提出的方法

• 采用敏感度采样框架：每个点以与其敏感度上界 $s'(q)$ 成比例的概率被采样，该值衡量其对总代价的潜在影响。
• 引入对空间 $[\Delta]^d$ 的分层网格分解，将空间划分为多个层级的单元格，单元格尺寸逐层减小，以估计局部密度和敏感度。
• 在网格层级上使用望远镜和方法，以有界密集区域中点的敏感度，利用高密度区域中点的敏感度较低的特性。
• 应用递归敏感度估计过程，将 $\sum_q s'(q)$ 有界为 $\widetilde{O}(k \cdot \mathrm{poly}(d))$，从而实现小规模共核集。
• 使用逆概率加权的加权采样方法构造共核集，确保在所有 $k$-中心配置下估计代价的集中性。
• 通过敏感度估计和单元格计数的增量更新，动态维护共核集，支持单次遍历中的插入和删除操作。

实验结果

研究问题

• RQ1 我们能否在高维空间中，使用在 $d$ 上为多项式、在 $k$ 上近乎线性的空间，构造一个动态 $k$-均值共核集？
• RQ2 在点被插入和删除的动态流式模型中，如何高效估计点的敏感度？
• RQ3 鉴于望远镜和技术因中心位置的二次代价依赖而失效，敏感度采样能否被适配到动态流中的 $k$-均值？
• RQ4 在具有 $(1+\epsilon)$-近似保证的前提下，动态 $k$-均值可实现的最小共核集大小是多少？
• RQ5 是否可能在支持插入和删除操作的同时，以 $\widetilde{O}(k)\cdot\mathrm{poly}(d)$ 的空间复杂度维护一个共核集？

主要发现

• 该算法以高概率（至少 0.9）构造出大小为 $O(k\epsilon^{-2}d^4\log(kd\log\Delta))$ 的 $\epsilon$-共核集。
• 空间复杂度为 $\widetilde{O}(k)\cdot\mathrm{poly}(d,\log\Delta,\epsilon^{-1})$，在 $d$ 上为多项式级别，在 $k$ 上近乎线性，达到近似最优。
• 共核集构造为单次遍历，支持插入和删除操作，适用于动态数据流。
• 敏感度估计框架确保 $\sum_q s'(q) = \widetilde{O}(k \cdot \mathrm{poly}(d))$，直接支持共核集大小的有界性。
• 通过使用分层网格和局部密度估计，该方法克服了望远镜和技术在 $k$-均值中失效的问题，从而有界敏感度。
• 这是首个在 $d$ 上空间为多项式、在 $k$ 上为线性的动态流式 $k$-均值算法，解决了该领域的一个关键开放问题。