[论文解读] Online k-means Clustering

Vincent Cohen-Addad, Benjamin Guedj+2 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Bandit Algorithms Research参考文献 13被引用 9

一句话总结

本文提出一种在线 $k$-means 聚类算法，采用自适应乘法权重更新算法（MWUA）与增量共视体（incremental coreset），在有界数据下实现了期望 $\tilde{O}(\sqrt{T})$ 的遗憾。尽管 $k$-means 问题为 $\mathsf{APX}$-难问题，该方法为近似遗憾最小化提供了理论上的上界，其运行时间在 $k$ 和 $d$ 上呈指数级增长；同时表明，标准方法如 Follow The Leader（FTL）在最坏情况下可能遭遇线性遗憾。

ABSTRACT

We study the problem of online clustering where a clustering algorithm has to assign a new point that arrives to one of $k$ clusters. The specific formulation we use is the $k$-means objective: At each time step the algorithm has to maintain a set of k candidate centers and the loss incurred is the squared distance between the new point and the closest center. The goal is to minimize regret with respect to the best solution to the $k$-means objective ($\mathcal{C}$) in hindsight. We show that provided the data lies in a bounded region, an implementation of the Multiplicative Weights Update Algorithm (MWUA) using a discretized grid achieves a regret bound of $ ilde{O}(\sqrt{T})$ in expectation. We also present an online-to-offline reduction that shows that an efficient no-regret online algorithm (despite being allowed to choose a different set of candidate centres at each round) implies an offline efficient algorithm for the $k$-means problem. In light of this hardness, we consider the slightly weaker requirement of comparing regret with respect to $(1 + ε) \mathcal{C}$ and present a no-regret algorithm with runtime $O\left(T(\mathrm{poly}(log(T),k,d,1/ε)^{k(d+O(1))} ight)$. Our algorithm is based on maintaining an incremental coreset and an adaptive variant of the MWUA. We show that naïve online algorithms, such as \emph{Follow The Leader}, fail to produce sublinear regret in the worst case. We also report preliminary experiments with synthetic and real-world data.

研究动机与目标

• 设计一种高效的在线 $k$-means 聚类算法，在离线 $k$-means 问题为 $\mathsf{APX}$-难问题的背景下，实现次线性遗憾。
• 在 $[0,1]^d$ 中有界数据的在线 $k$-means 场景下，建立遗憾的理论边界。
• 探究无遗憾的在线算法是否可通过在线到离线的归约方式，隐含高效离线算法。
• 开发一种具有 $(1+\epsilon)$-遗憾且运行时间可控的实际算法，以应对计算上的不可解性。
• 评估标准在线启发式方法（如 Follow The Leader, FTL）在最坏情况下的失效原因，并评估其经验性能。

提出的方法

• 在 $[0,1]^d$ 上使用离散化网格表示候选中心，并在 $k$ 个中心的集合上应用乘法权重更新算法（MWUA）。
• 采用增量共视体构造方法，以保持过去数据的紧凑摘要，降低计算开销。
• 引入分层区域分解与 $k$-树结构，以建模 $k$-中心配置并近似最优路径。
• 应用自适应 MWUA 变体，通过精心调校的参数 $\varepsilon_{\mathsf{c}}$ 和 $\varepsilon_{\mathsf{hrd}}$ 控制遗憾与近似误差。
• 通过分析事后最优离线解对应的 $k$-树路径，推导遗憾边界。
• 使用在线到离线的归约方法，表明任何高效的在线算法均可导出离线 $k$-means 的全多项式时间近似方案（FPTAS）。

实验结果

研究问题

• RQ1 能否在 $\mathsf{APX}$-难问题背景下，设计出具有次线性遗憾的无遗憾在线 $k$-means 算法？
• RQ2 是否任何高效的在线 $k$-means 算法均可通过归约方式，隐含高效离线算法？
• RQ3 在放宽的 $(1+\epsilon)$-遗憾定义下，遗憾是否可被界为 $\tilde{O}(\sqrt{T})$？
• RQ4 为何 Follow The Leader（FTL）在最坏情况下无法实现次线性遗憾，尽管其在经验上表现良好？
• RQ5 在在线 $k$-means 中，实现 $\tilde{O}(\sqrt{T})$ 遗憾的最小运行时间复杂度是多少？

主要发现

• 基于离散化网格的 MWUA 算法可实现 $\tilde{O}(\sqrt{T})$ 的期望遗憾，确立了次线性遗憾在信息论上的可行性。
• 在线到离线的归约表明，任何高效的在线算法均可导出离线 $k$-means 的 FPTAS，凸显计算困难是主要障碍。
• 提出一种新算法，具有 $(1+\epsilon)$-遗憾，其运行时间为 $O\left(T(d^{1/2}k^{2}\epsilon^{-2}\log T)^{k(d+O(1))}\right)$，在 $k$ 和 $d$ 上呈指数依赖。
• 朴素的在线算法（如 FTL）在最坏情况下可能产生线性遗憾，该结论在理论上与实验中均得到验证。
• 尽管理论分析表明 FTL 失效，但结合 $k$-means++ 作为代理时，其在真实世界与合成数据上表现良好，提示稳定性条件可能使更优的遗憾边界成为可能。
• 理论分析确认，实现高效在线 $k$-means 的主要障碍是计算复杂性，而非信息论限制，因为次线性遗憾在原则上是可实现的。