[论文解读] Spectral Clustering via the Power Method -- Provably

Christos Boutsidis, Alex Gittens+1 more|arXiv (Cornell University)|Nov 12, 2013

Graph theory and applications参考文献 44被引用 7

一句话总结

本文首次为使用幂方法加速谱聚类提供了严格的理论依据，即通过近似归一化拉普拉斯矩阵的顶级特征向量来实现。证明了在幂方法近似得到的特征向量上执行k-means聚类，可获得对最优聚类的加法误差近似，实证结果表明在显著降低计算时间的同时，性能接近最优或更优。

ABSTRACT

Spectral clustering is one of the most important algorithms in data mining and machine intelligence; however, its computational complexity limits its application to truly large scale data analysis. The computational bottleneck in spectral clustering is computing a few of the top eigenvectors of the (normalized) Laplacian matrix corresponding to the graph representing the data to be clustered. One way to speed up the computation of these eigenvectors is to use the "power method" from the numerical linear algebra literature. Although the power method has been empirically used to speed up spectral clustering, the theory behind this approach, to the best of our knowledge, remains unexplored. This paper provides the \emph{first} such rigorous theoretical justification, arguing that a small number of power iterations suffices to obtain near-optimal partitionings using the approximate eigenvectors. Specifically, we prove that solving the $k$-means clustering problem on the approximate eigenvectors obtained via the power method gives an additive-error approximation to solving the $k$-means problem on the optimal eigenvectors.

研究动机与目标

• 为使用幂方法加速谱聚类提供理论基础，因为谱聚类本身由于特征向量计算而计算成本高昂。
• 建立幂方法得到的近似特征向量可实现与精确特征向量相近的聚类质量。
• 证明在近似特征向量上执行k-means聚类可获得相对于最优聚类目标的加法误差近似。
• 在真实世界数据集上对方法进行实证验证，展示其在加速的同时保持甚至提升聚类准确率。

提出的方法

• 该方法使用幂迭代法计算归一化拉普拉斯矩阵的近似前k个特征向量，替代昂贵的SVD计算。
• 通过自适应带宽的高斯核构建相似性图，其中边权重反映点对之间的相似性。
• 对矩阵B'B执行幂迭代，其中B是来自相似性矩阵的瘦高矩阵，以高效计算近似的谱嵌入。
• 将k-means聚类步骤应用于得到的近似特征向量，以获得最终的聚类分配。
• 理论分析将聚类误差界定为特征向量近似误差的加法函数，确保结果接近最优。
• 实证评估通过多个数据集上的标准化互信息（NMI）和运行时间，比较了精确算法与近似算法。

实验结果

研究问题

• RQ1 幂方法生成的特征向量是否能在谱聚类中实现与精确特征向量相近的聚类质量？
• RQ2 在幂方法近似得到的特征向量上执行的k-means目标函数，是否能相对于最优解以加法误差形式进行界定？
• RQ3 幂迭代次数如何影响聚类准确率与计算效率之间的权衡？
• RQ4 在更严格的运行时间预算下，近似算法是否能实现优于精确算法的聚类性能？
• RQ5 当底层数据结构无法通过标准距离聚类方法分离时，幂方法的近似是否依然有效？

主要发现

• 在Vehicle数据集上，当p=6时，近似算法的NMI达到0.2449，优于精确算法的0.1655，且运行速度更快。
• 在SatImage数据集上，当p=6时，近似算法的NMI达到0.6007，优于精确算法的0.5905，且运行速度提升2.5倍。
• 即使仅使用p=2次幂迭代，近似算法在四个数据集中的三个（SatImage、Vehicle、Vowel）上也实现了与精确算法相当或更优的NMI。
• 近似算法的运行时间随幂迭代次数线性增长，符合预期，并以p=0为基准进行了跨数据集比较。
• 在时间受限条件下，近似算法始终实现了与精确算法相当或更优的NMI，证明了其高效性与有效性。
• Segment数据集是唯一例外，当p=2时性能较差，表明其对数据结构或参数设置较为敏感。