[论文解读] Strong Coresets for k-Median and Subspace Approximation: Goodbye Dimension

Christian Sohler, David P. Woodruff|arXiv (Cornell University)|Sep 9, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 4

一句话总结

本文首次提出了针对 k-中位数和子空间近似问题的强核心集，其大小为 poly(k/ε)，且与 n 和 d 均无关，采用了一种新颖的维度约简技术，该技术推广了 p ≥ 1 时 p-范数的先前工作。该方法在 O(nnz(A)) + (n+d)poly(k/ε) + exp(poly(k/ε)) 时间内实现高效的核心集构造，同时对所有中心集实现 (1+ε)-近似。

ABSTRACT

We obtain the first strong coresets for the $k$-median and subspace approximation problems with sum of distances objective function, on $n$ points in $d$ dimensions, with a number of weighted points that is independent of both $n$ and $d$; namely, our coresets have size $ ext{poly}(k/ε)$. A strong coreset $(1+ε)$-approximates the cost function for all possible sets of centers simultaneously. We also give efficient $ ext{nnz}(A) + (n+d) ext{poly}(k/ε) + \exp( ext{poly}(k/ε))$ time algorithms for computing these coresets. We obtain the result by introducing a new dimensionality reduction technique for coresets that significantly generalizes an earlier result of Feldman, Sohler and Schmidt \cite{FSS13} for squared Euclidean distances to sums of $p$-th powers of Euclidean distances for constant $p\ge1$.

研究动机与目标

• 开发对数据维度 d 和样本数量 n 均独立的 k-中位数和子空间近似强核心集。
• 克服先前核心集方法在大小上线性依赖于 d 或 n 的局限性，尤其针对和距离目标函数。
• 将 Feldman 等人关于维度约简技术的工作从平方 ℓ2 距离推广到一般 ℓp 距离，适用于 p ≥ 1。
• 通过大小为 poly(k/ε) 的核心集，同时实现对所有可能中心集的 (1+ε)-近似，从而在下游应用中具备鲁棒性。
• 设计一种高效的核心集构造算法，其时间复杂度在输入稀疏性下接近线性，输出大小为 poly(k/ε)。

提出的方法

• 提出一种新的维度约简框架，将输入点投影到 poly(k/ε)-维子空间中，同时保持 p ≥ 1 时的 ℓp 距离。
• 使用随机化投影和正交投影，将环境维度降低至 O(k/ε²)，在 (1±ε) 范围内保持 k-中位数和子空间近似的代价。
• 在约简后的空间中应用核心集构造方法（例如 [12] 或 [4] 中的方法），获得大小为 poly(k/ε) 的加权点集，以近似所有中心集。
• 通过坐标恢复将核心集转换回原始空间，确保最终核心集对任意 k-中心集均保持距离不变。
• 利用正交变换保持 ℓ2 距离的性质，使得核心集在原始空间中依然有效。
• 使用采样和重加权矩阵，从投影数据中高效选择并确定最终核心集点的权重。

实验结果

研究问题

• RQ1 能否构建出大小与 n 和 d 均无关的 k-中位数和子空间近似强核心集？
• RQ2 用于 ℓ2 距离的维度约简技术能否推广到 p ≥ 1 的 ℓp 距离？
• RQ3 是否可能通过大小为 poly(k/ε) 的核心集，同时实现对所有 k-中心集的 (1+ε)-近似？
• RQ4 此类核心集的构造时间复杂度是多少？能否使其在输入稀疏性下接近线性？
• RQ5 能否使用所提方法在分布式或流式计算环境中高效计算核心集？

主要发现

• 本文首次构建了针对 k-中位数和子空间近似问题的强核心集，其大小为 poly(k/ε)，且与 n 和 d 均无关。
• 核心集构造时间复杂度为 O(nnz(A)) + (n+d)poly(k/ε) + exp(poly(k/ε))，同时对所有 k-中心集实现 (1+ε)-近似。
• 该方法将先前基于 ℓ2 的核心集工作推广到一般 ℓp 距离（p ≥ 1），显著提升了适用范围。
• 对于 k-中位数问题，核心集大小为 O(k² log k / ε⁴)，且对所有中心集均保证 (1+ε) 相对误差。
• 该方法在低拉伸或稀疏输入设置下可实现高效计算，时间复杂度在输入稀疏性下接近线性。
• 正确性通过一系列近似链实现：原始空间 → 约简子空间 → 约简空间中的核心集 → 回到原始空间，每一步的误差均控制在 ε 以内。