[论文解读] Partitioning Well-Clustered Graphs: Spectral Clustering Works!

Richard Peng, He Sun+1 more|arXiv (Cornell University)|Nov 7, 2014

Complex Network Analysis Techniques参考文献 28被引用 48

一句话总结

本文通过证明：利用图拉普拉斯矩阵的底 $k$ 个特征向量对顶点进行嵌入，并应用 k-means 聚类，可获得对最优 $k$-路划分的良好近似，从而为在良好聚类图中进行谱聚类建立了理论保证。关键贡献是基于热核近似和近似最近邻的近乎线性时间算法，其近似比为 $\widetilde{O}(k^4 / \Upsilon)$，其中 $\Upsilon$ 为谱间隙参数。

ABSTRACT

In this paper we study variants of the widely used spectral clustering that partitions a graph into k clusters by (1) embedding the vertices of a graph into a low-dimensional space using the bottom eigenvectors of the Laplacian matrix, and (2) grouping the embedded points into k clusters via k-means algorithms. We show that, for a wide class of graphs, spectral clustering gives a good approximation of the optimal clustering. While this approach was proposed in the early 1990s and has comprehensive applications, prior to our work similar results were known only for graphs generated from stochastic models. We also give a nearly-linear time algorithm for partitioning well-clustered graphs based on computing a matrix exponential and approximate nearest neighbor data structures.

研究动机与目标

• 严格分析谱聚类在良好聚类图中的表现，超越随机模型的限制。
• 建立拉普拉斯矩阵的特征向量与真实聚类指示向量之间的联系。
• 基于谱嵌入与最近邻搜索，开发一种用于 $k$-路图划分的近乎线性时间算法。
• 在谱间隙假设 $\Upsilon(k) = \lambda_{k+1}/\rho(k)$ 下，为划分质量提供近似保证。

提出的方法

• 使用归一化拉普拉斯矩阵的底 $k$ 个特征向量，将图顶点嵌入低维空间。
• 对嵌入后的点应用 k-means 聚类以恢复聚类结构。
• 利用矩阵指数（热核）近似谱嵌入，以实现高效计算。
• 利用近似最近邻数据结构加速聚类步骤。
• 采用种子选择与修剪过程，稳健地选择初始聚类中心。
• 证明所得划分在导出率与体积偏差方面，对最优 $k$-路划分的近似误差为 $\widetilde{O}(k^4 / \Upsilon)$。

实验结果

研究问题

• RQ1 在谱间隙假设下，而非仅在随机模型下，能否严格证明谱聚类在良好聚类图中的有效性？
• RQ2 如何高效近似谱嵌入，以实现近乎线性时间的划分？
• RQ3 谱聚类在导出率与体积偏差方面，相对于最优划分的近似质量如何？
• RQ4 热核与良好聚类图中的谱嵌入及聚类恢复之间有何关系？
• RQ5 能否设计一种近乎线性时间算法，实现 $k$-路图划分的可证明近似保证？

主要发现

• 对于每个聚类 $A_i$，谱聚类的近似比为 $\phi_{G}(A_i) = 1.1 \cdot \phi_{G}(S_i) + \widetilde{O}(k^4 / \Upsilon)$，其中 $\phi_{G}(S_i)$ 为真实聚类的导出率。
• 返回划分 $A_i$ 与真实聚类 $S_i$ 之间的体积偏差满足 $\operatorname{vol}(A_i \triangle S_i) = \widetilde{O}(k^4 / \Upsilon) \cdot \operatorname{vol}(S_i)$。
• 该算法运行时间为 $\widetilde{O}(m)$，其中 $m$ 为边数，因此为近乎线性时间。
• 谱嵌入可通过热核 $\exp(-tL)$ 在 $t = \Omega(1/(\lambda_k \log n))$ 时近似，从而实现高效计算。
• 该方法依赖于一个间隙假设 $\Upsilon(k) = \lambda_{k+1}/\rho(k)$，其弱于特征值间隙，但在实践中具有坚实基础。
• 理论分析表明，在该间隙条件下，特征向量与聚类指示向量高度对齐，从而解释了谱聚类在实践中成功的合理性。