[论文解读] Scalable Bottom-Up Hierarchical Clustering.

Nicholas Monath, Avinava Dubey+10 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Clustering Algorithms Research参考文献 74被引用 5

一句话总结

本文提出了子簇分量算法（SCC），一种可扩展的、基于轮次的自底向上层次聚类方法，通过并行构建多个子簇，将轮次数量相比经典凝聚聚类减少了整整一个数量级。SCC 能够实现高质量的平坦聚类与层次聚类，对 DP-means 目标函数提供 2-近似解，并在包含 300 亿个点的数据集上超越了当前最先进的方法。

ABSTRACT

Bottom-up algorithms such as the classic hierarchical agglomerative clustering, are highly effective for hierarchical as well as flat clustering. However, the large number of rounds and their sequential nature limit the scalability of agglomerative clustering. In this paper, we present an alternative round-based bottom-up hierarchical clustering, the Sub-Cluster Component Algorithm (SCC), that scales gracefully to massive datasets. Our method builds many sub-clusters in parallel in a given round and requires many fewer rounds -- usually an order of magnitude smaller than classic agglomerative clustering. Our theoretical analysis shows that, under a modest separability assumption, SCC will contain the optimal flat clustering. SCC also provides a 2-approx solution to the DP-means objective, thereby introducing a novel application of hierarchical clustering methods. Empirically, SCC finds better hierarchies and flat clusterings even when the data does not satisfy the separability assumption. We demonstrate the scalability of our method by applying it to a dataset of 30 billion points and showing that SCC produces higher quality clusterings than the state-of-the-art.

研究动机与目标

• 解决经典自底向上层次聚类方法在可扩展性方面的局限性，这些方法依赖于顺序的、逐轮合并的方式，在大规模数据集上扩展性差。
• 开发一种可并行化的聚类方法，在显著减少所需轮次数量的同时保持聚类质量。
• 在可分性假设下提供理论保证，证明 SCC 包含最优的平坦聚类。
• 将层次聚类扩展至一种新颖的应用场景，即通过 2-近似解来逼近 DP-means 目标函数。
• 在大规模真实世界数据集上，实证证明 SCC 相较于当前最先进的方法具有优越性能，包括一个包含 300 亿个点的数据集。

提出的方法

• SCC 以轮次为单位运行，每轮中通过自底向上的、基于合并的策略并行构建多个子簇。
• 该算法采用一种子聚类机制，先将数据点分组为小型局部簇，再以分层方式将它们合并。
• 它采用基于轮次的方法，与经典凝聚聚类相比，将总轮次数量减少了整整一个数量级。
• SCC 在理论分析中引入了可分性假设，以证明在温和条件下其包含最优平坦聚类。
• 该方法对 DP-means 目标函数提供 2-近似解，建立了层次聚类与一个知名平坦聚类准则之间的新颖理论联系。
• 它利用数据点和子簇之间的并行化处理，以实现在大规模数据集上的高效处理。

实验结果

研究问题

• RQ1 能否设计一种自底向上的层次聚类算法，通过减少轮次数量并支持并行化，实现对大规模数据集的高效扩展？
• RQ2 在何种理论条件下，所提出的 SCC 算法能保证包含最优平坦聚类？
• RQ3 SCC 对 DP-means 目标函数的逼近程度如何？这一特性如何拓展层次聚类的实用性？
• RQ4 SCC 在真实世界大规模数据集上的聚类质量与当前最先进的方法相比如何？
• RQ5 当数据不满足可分性假设时，SCC 是否仍能保持高质量的聚类结果？

主要发现

• 与经典凝聚聚类相比，SCC 将聚类轮次数量减少了约一个数量级。
• 在适度的可分性假设下，SCC 包含最优平坦聚类，提供了强有力的理论保证。
• SCC 对 DP-means 目标函数实现了 2-近似解，引入了层次聚类与平坦聚类之间新颖的理论联系。
• 实证结果表明，即使在数据不满足可分性假设的情况下，SCC 产生的聚类质量仍优于当前最先进的方法。
• SCC 顺利扩展至包含 300 亿个点的数据集，证明了其在大规模数据上的实际可行性与性能表现。