[论文解读] Online Hierarchical Clustering Approximations

Aditya Krishna Menon, Anand Rajagopalan+4 more|arXiv (Cornell University)|Sep 20, 2019

Advanced Clustering Algorithms Research参考文献 18被引用 4

一句话总结

本文提出了两种在线分层聚类算法 OTD 和 OHAC，用于近似 Moseley-Wang（MW）收益函数，以实现最优分层聚类。OTD 采用自顶向下的方法，在数据分离条件下具有 $\frac{\beta}{3}$-近似保证；而 OHAC 通过一种新颖的分裂-合并过程模拟离线 HAC，实现了接近最优的 MW 收益，并在 $O(n)$ 每轮复杂度下展现出更优的聚类质量。

ABSTRACT

Hierarchical clustering is a widely used approach for clustering datasets at multiple levels of granularity. Despite its popularity, existing algorithms such as hierarchical agglomerative clustering (HAC) are limited to the offline setting, and thus require the entire dataset to be available. This prohibits their use on large datasets commonly encountered in modern learning applications. In this paper, we consider hierarchical clustering in the online setting, where points arrive one at a time. We propose two algorithms that seek to optimize the Moseley and Wang (MW) revenue function, a variant of the Dasgupta cost. These algorithms offer different tradeoffs between efficiency and MW revenue performance. The first algorithm, OTD, is a highly efficient Online Top Down algorithm which provably achieves a 1/3-approximation to the MW revenue under a data separation assumption. The second algorithm, OHAC, is an online counterpart to offline HAC, which is known to yield a 1/3-approximation to the MW revenue, and produce good quality clusters in practice. We show that OHAC approximates offline HAC by leveraging a novel split-merge procedure. We empirically show that OTD and OHAC offer significant efficiency and cluster quality gains respectively over baselines.

研究动机与目标

• 解决大规模流数据场景下缺乏高效且理论基础坚实的在线分层聚类算法的问题。
• 设计在线算法以优化 Moseley 和 Wang（2017）提出的收益函数，该函数是衡量分层聚类质量的合理目标。
• 在在线设置中实现计算效率与聚类质量之间的平衡。
• 提供理论近似保证，并通过与离线基线及现有在线方法的对比进行实证验证。

提出的方法

• OTD 是一种在线自顶向下分层聚类算法，对每个到达的点仅执行一次从根到叶的树搜索，确保每轮时间复杂度为 $O(d)$，其中 $d$ 为层次结构的深度。
• OTD 对 MW 收益实现了 $\frac{\beta}{3}$-近似，其中 $\beta$ 衡量数据点的分离程度，在数据充分分离条件下达到 $\frac{1}{3}$-近似。
• OHAC 是离线 HAC 的在线对应版本，通过一种新颖的分裂-合并过程动态维护聚类结构，并近似离线 HAC 的层次结构。
• OHAC 在某些链接方式下展现出 $O(n)$ 每轮时间复杂度，且 MW 收益表现接近离线 HAC。
• 通过 MW 收益和三元组距离评估算法性能，以衡量其相对于离线 HAC 的近似质量。
• 理论分析包括在数据分离假设下的近似界证明，实证评估则使用了包括 MNIST 和 ImageNet 在内的合成数据集和真实世界数据集。

实验结果

研究问题

• RQ1 在线分层聚类算法能否为 Moseley-Wang 收益函数提供理论近似保证？
• RQ2 在聚类质量和运行时间方面，在线算法与离线 HAC 的性能相比如何？
• RQ3 像 OTD 这类结构简单且高效的自顶向下在线算法能否实现较强的近似因子？
• RQ4 通过分裂-合并机制模拟离线 HAC 的在线算法是否能保持层次结构并提升 MW 收益？
• RQ5 在在线分层聚类中，计算效率与聚类质量之间的权衡是什么？

主要发现

• 在真实世界和合成数据集上，OTD 始终实现或超过理论上的 $\frac{1}{3}$-近似因子，即使在缺乏严格数据分离条件时亦然。
• OHAC 实现的 MW 收益表现几乎与离线 HAC 一致，验证了其在近似最优层次结构方面的有效性。
• 离线 HAC 产生的聚类质量最高，但在 ImageNet 等大规模数据集上不可行，于 70K 个点时即因内存不足而崩溃。
• OTD 显著快于 OHAC 和离线 HAC，其运行时间呈次线性增长，适用于高吞吐量流式应用场景。
• OHAC 在三元组距离上优于 PERCH 及其他基线方法，表明其在保持层次结构方面优于现有在线方法。
• 在包含超过一百万个点的 ImageNet 数据集上，OTD 和 OHAC 均在合理时间内完成，而离线 HAC 在 8 小时内未能完成。