[论文解读] Sampling Clustering

Ching Tarn, Yinan Zhang+1 more|arXiv (Cornell University)|Jun 21, 2018

Complex Network Analysis Techniques参考文献 1被引用 1

一句话总结

本文提出一种线性时间、基于图的分裂聚类方法——简化聚类（Reductive Clustering），通过递归地执行顶点选择、重连和划分操作来简化图，从而构建紧凑且信息丰富的树状图。该方法在图简化过程中保持结构一致性，显著降低计算资源消耗的同时实现了最先进水平的聚类性能。

ABSTRACT

We propose an efficient linear-time graph-based divisive cluster analysis approach called Reductive Clustering. The approach tries to reveal the hierarchical structural information through reducing the graph into a more concise one repeatedly. With the reductions, the original graph can be divided into subgraphs recursively, and a lite informative dendrogram is constructed based on the divisions. The reduction consists of three steps: selection, connection, and partition. First a subset of vertices of the graph are selected as representatives to build a concise graph. The representatives are re-connected to maintain a consistent structure with the previous graph. If possible, the concise graph is divided into subgraphs, and each subgraph is further reduced recursively until the termination condition is met. We discuss the approach, along with several selection and connection methods, in detail both theoretically and experimentally in this paper. Our implementations run in linear time and achieve outstanding performance on various types of datasets. Experimental results show that they outperform state-of-the-art clustering algorithms with significantly less computing resource requirements.

研究动机与目标

• 开发一种高效、线性时间的聚类算法，以揭示图中的分层结构信息。
• 通过迭代简化降低图的复杂度，解决现有聚类方法计算成本过高的问题。
• 构建一个简洁且信息丰富的树状图，以保留原始图的结构关系。
• 在保持或提升与最先进方法相比的聚类准确率的同时，最小化资源使用。
• 为基于图的分裂聚类提供理论基础坚实且实验验证充分的框架。

提出的方法

• 该方法通过三个步骤执行图简化：顶点选择、代表顶点重连以及对简化图的递归划分。
• 选择顶点作为代表，以形成更紧凑的图，同时保留原始结构的关键连通性。
• 以保持与原始图拓扑结构和聚类特性一致的方式重新连接代表顶点。
• 若可能，对简化图递归地进行划分，直至满足终止条件。
• 评估多种选择与连接策略，以优化性能和结构保真度。
• 该算法具有线性时间复杂度，因此可扩展应用于大规模和多样化的数据集。

实验结果

研究问题

• RQ1 基于图的分裂聚类方法是否能在保持分层结构的同时实现线性时间复杂度？
• RQ2 不同的顶点选择与重连策略在图简化过程中对保持聚类准确率的有效性如何？
• RQ3 与最先进聚类算法相比，该方法在速度和资源效率方面能提升多少？
• RQ4 简化后的图表示是否仍能生成有意义且信息丰富的树状图？
• RQ5 该方法在不同类型的真实世界数据集上表现如何？

主要发现

• 所提出的简化聚类方法运行时间为线性时间，与现有方法相比显著降低了计算资源需求。
• 该算法构建了一个紧凑且信息丰富的树状图，准确捕捉了原始图的分层结构。
• 实验结果表明，该方法在多种类型的数据集上均优于最先进聚类算法。
• 尽管进行了激进的图简化与压缩，该方法仍保持了高聚类准确率。
• 不同选择与连接策略的性能表现各异，但均以极低开销实现了优异结果。
• 由于具备线性时间复杂度和低内存占用，该方法能高效扩展至大规模数据集。