[论文解读] Turning Big data into tiny data: Constant-size coresets for k-means, PCA and projective clustering

Dan Feldman, Melanie Schmidt+1 more|arXiv (Cornell University)|Jul 12, 2018

Advanced Clustering Algorithms Research被引用 6

一句话总结

本文提出了一种用于 k-means、PCA 和投影聚类的新型共核集构造方法，可将任意大规模高维数据集压缩为一个与数据规模和维度无关的常数大小加权集合。该方法通过随机投影进行降维，随后进行加权采样，实现了 $(1+\varepsilon)$-近似保证，共核集大小为 $O(k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil})$，其中界仅依赖于 $k$ 和 $\varepsilon$。共核集具有可合并性，支持高效流式处理与分布式计算。

ABSTRACT

We develop and analyze a method to reduce the size of a very large set of data points in a high dimensional Euclidean space R d to a small set of weighted points such that the result of a predetermined data analysis task on the reduced set is approximately the same as that for the original point set. For example, computing the first k principal components of the reduced set will return approximately the first k principal components of the original set or computing the centers of a k-means clustering on the reduced set will return an approximation for the original set. Such a reduced set is also known as a coreset. The main new feature of our construction is that the cardinality of the reduced set is independent of the dimension d of the input space and that the sets are mergable. The latter property means that the union of two reduced sets is a reduced set for the union of the two original sets (this property has recently also been called composability, see Indyk et. al., PODS 2014). It allows us to turn our methods into streaming or distributed algorithms using standard approaches. For problems such as k-means and subspace approximation the coreset sizes are also independent of the number of input points. Our method is based on projecting the points on a low dimensional subspace and reducing the cardinality of the points inside this subspace using known methods. The proposed approach works for a wide range of data analysis techniques including k-means clustering, principal component analysis and subspace clustering. The main conceptual contribution is a new coreset definition that allows to charge costs that appear for every solution to an additive constant.

研究动机与目标

• 为解决在粒子物理、基因组学和传感器网络等应用中分析大规模高维数据集所面临的可扩展性挑战。
• 开发一种共核集构造方法，可在保留下游分析任务（如 k-means 聚类和 PCA）质量的同时减小数据规模。
• 确保共核集大小与输入点数和数据维度 $d$ 无关，从而支持大规模数据的高效处理。
• 设计可合并的共核集——即来自不相交数据集的共核集的并集仍为合并数据集的有效共核集——以支持分布式与流式算法。
• 提出一种新的共核集定义，允许将近似成本分摊至一个常数项，从而简化对广泛 Bregman 散度的分析。

提出的方法

• 通过随机化降维将高维输入点投影到低维子空间，将环境维度降低至 $O(k/\varepsilon^2)$。
• 在低维子空间中，应用已知的 k-means 和子空间逼近的共核集构造技术，基于敏感度得分进行加权采样。
• 关键创新在于利用 Bregman 散度的 $m$-相似性来界定近似误差，从而推导出常数大小共核集的界。
• 共核集构造设计为可合并：来自不相交数据集的共核集的并集构成其并集的有效共核集，支持分布式与流式处理。
• 理论分析采用一种新颖的共核集定义，允许将误差成本以加法方式分摊，简化了 $(1+\varepsilon)$-近似保证的证明。
• 最终共核集大小被限制在 $2k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil}$ 以内，其中 $f_1(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$ 且 $f_3(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$，从而实现与 $n$ 和 $d$ 无关的大小。

实验结果

研究问题

• RQ1 能否在高维空间中为 k-means 和 PCA 构造共核集，使其大小与数据点数量 $n$ 和维度 $d$ 无关？
• RQ2 是否可能设计一种可合并的共核集构造方法，以支持高效分布式与流式计算？
• RQ3 如何利用 Bregman 散度推导出具有 $(1+\varepsilon)$-近似保证的常数大小共核集界？
• RQ4 在所提出的框架下，投影聚类与子空间逼近的共核集大小的理论界是什么？
• RQ5 该共核集构造能否推广至 k-means 和 PCA 之外的广泛数据分析任务？

主要发现

• 所提出的共核集构造对 k-means、PCA 和投影聚类实现了 $(1+\varepsilon)$-近似，共核集大小仅依赖于 $k$ 和 $\varepsilon$，与 $n$ 或 $d$ 无关。
• 共核集大小被限制在 $2k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil}$ 以内，其中 $f_1(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$，确保在 $k$ 和 $\varepsilon$ 固定时为常数大小。
• 该方法保证了来自不相交数据集的共核集的并集构成其合并数据集的有效共核集，支持高效的分布式与流式处理。
• 理论分析表明，在将维度降低至 $O(k/\varepsilon^2)$ 维后，任意 $j$-维子空间的平方距离和可被近似为 $(1+\varepsilon)$ 因子内。
• 共核集构造适用于广泛的 Bregman 散度，包括平方欧几里得距离，并支持聚类与降维任务。
• 该框架引入了一种新的共核集定义，允许将成本分摊至一个加法常数，简化了分析，并为复杂数据分析任务提供了更紧的界。