[论文解读] Robust and efficient multi-way spectral clustering

Anil Damle, Victor Minden+1 more|arXiv (Cornell University)|Sep 27, 2016

Complex Network Analysis Techniques参考文献 35被引用 14

一句话总结

该论文提出了一种基于特征向量矩阵列主元QR分解的稳健、高效的多路谱聚类算法，无需像k-means++那样进行迭代初始化。该方法在随机块模型中实现了接近最优的恢复效果，在聚类质量方面优于k-means++，尤其在最小化多路切割度量方面表现更优，同时与图大小呈线性可扩展性，并可通过随机化加速处理大规模问题。

ABSTRACT

We present a new algorithm for spectral clustering based on a column-pivoted QR factorization that may be directly used for cluster assignment or to provide an initial guess for k-means. Our algorithm is simple to implement, direct, and requires no initial guess. Furthermore, it scales linearly in the number of nodes of the graph and a randomized variant provides significant computational gains. Provided the subspace spanned by the eigenvectors used for clustering contains a basis that resembles the set of indicator vectors on the clusters, we prove that both our deterministic and randomized algorithms recover a basis close to the indicators in Frobenius norm. We also experimentally demonstrate that the performance of our algorithm tracks recent information theoretic bounds for exact recovery in the stochastic block model. Finally, we explore the performance of our algorithm when applied to a real world graph.

研究动机与目标

• 开发一种直接的、非迭代的谱聚类算法，避免对k-means++初始化的依赖，后者对不良局部极小值敏感。
• 在随机块模型（SBM）中实现接近信息论极限的理论恢复保证，尤其在精确聚类方面。
• 为大规模图提供一种可扩展且高效的k-means++替代方案，其随机化变体可显著提升计算效率。
• 证明所提方法生成的聚类在多路切割度量上优于k-means++，同时可作为有效的种子策略。
• 建立算法性能与特征向量嵌入中几何结构之间的理论与实证联系。

提出的方法

• 该方法对图拉普拉斯矩阵或邻接矩阵的前k个特征向量矩阵 $ V_k^T $ 进行列主元QR（CPQR）分解，其中 $ V_k $ 包含前k个特征向量。
• CPQR过程识别出一组k列，构成特征子空间的良态基，近似于真实聚类的指示向量。
• 最终的聚类分配直接从QR分解的排列与主元结构中导出，避免了迭代优化。
• 该算法的随机化变体通过子采样列来加速计算，实现与图大小的线性缩放，同时保持高精度。
• 该算法可独立作为聚类方法使用，也可作为k-means的种子策略，提升其收敛至更优局部极小值的能力。
• 理论分析表明，若特征子空间中存在接近聚类指示向量的基，则该算法在Frobenius范数下可恢复接近指示向量的基。

实验结果

研究问题

• RQ1 基于列主元QR分解的直接、非迭代方法能否在谱聚类中实现与k-means++相当或更优的聚类性能？
• RQ2 所提算法是否在随机块模型中实现接近信息论极限的恢复，尤其在精确恢复范围内？
• RQ3 在合成图和真实世界图上，基于CPQR的方法与k-means++相比，在最小化多路切割度量方面表现如何？
• RQ4 该算法的随机化变体能否在保持高精度的同时实现大规模图的线性计算缩放？
• RQ5 基于CPQR的聚类在多大程度上可作为k-means的有效初始化，从而提升其收敛至更优局部极小值的能力？

主要发现

• 在包含290个连通分量的图上进行10路聚类时，确定性CPQR算法的多路切割度量为零，而k-means++在超过50次试验中均未能达到零。
• 在真实世界图的最大连通分量上进行6路聚类时，CPQR算法的多路切割度量为1.92，优于k-means++，尽管其k-means目标值更高（2.52 vs. 0.76）。
• 当使用CPQR输出作为种子时，k-means的k-means目标值为0.76，多路切割度量为1.86，与k-means++单独运行50次所找到的最佳结果相当。
• 该算法的随机化变体在保持高聚类精度的同时实现了显著的计算加速，使大规模图的可扩展性成为可能。
• 理论分析证明，若特征子空间中存在接近聚类指示向量的基，则该算法在Frobenius范数下可恢复接近指示向量的基。
• 该算法跟踪了随机块模型中精确恢复的最新信息论边界，展现出与最优性能极限强而一致的理论与实证对齐。