[论文解读] Multi-way spectral partitioning and higher-order Cheeger inequalities

James R. Lee, Shayan Oveis Gharan+1 more|arXiv (Cornell University)|Nov 4, 2011

Graph theory and applications被引用 6

一句话总结

该论文通过证明归一化拉普拉斯矩阵的第 $k$ 个最小特征值的重数对应于图中存在 $k$ 个不相交的稀疏割，从而解决了长期存在的一个猜想。论文提出了一种基于标准正交特征向量、随机投影和几何随机划分的算法化多路谱划分方法，实现了几乎最优的界 $\rho_G(k) \leq O(\sqrt{\lambda_k \log k})$，并在噪声超立方体图上展示了该界的紧致性。

ABSTRACT

A basic fact in spectral graph theory is that the number of connected components in an undirected graph is equal to the multiplicity of the eigenvalue zero in the Laplacian matrix of the graph. In particular, the graph is disconnected if and only if there are at least two eigenvalues equal to zero. Cheeger's inequality and its variants provide an approximate version of the latter fact; they state that a graph has a sparse cut if and only if there are at least two eigenvalues that are close to zero. It has been conjectured that an analogous characterization holds for higher multiplicities, i.e., there are $k$ eigenvalues close to zero if and only if the vertex set can be partitioned into $k$ subsets, each defining a sparse cut. We resolve this conjecture. Our result provides a theoretical justification for clustering algorithms that use the bottom $k$ eigenvectors to embed the vertices into $\mathbb R^k$, and then apply geometric considerations to the embedding. We also show that these techniques yield a nearly optimal tradeoff between the expansion of sets of size $\approx n/k$, and the $k$th smallest eigenvalue of the normalized Laplacian matrix, denoted $λ_k$. In particular, we show that in every graph there is a set of size at most $2n/k$ which has expansion at most $O(\sqrt{λ_k \log k})$. This bound is tight, up to constant factors, for the "noisy hypercube" graphs.

研究动机与目标

• 解决一个猜想：即 $k$ 个接近零的特征值意味着图中存在 $k$ 个不相交的稀疏割。
• 为基于拉普拉斯矩阵的底 $k$ 个特征向量将顶点嵌入 $\mathbb{R}^k$ 的聚类算法提供理论基础。
• 建立 $k$-th 特征值 $\lambda_k$ 与 $k$-路扩展常数 $\rho_G(k)$ 之间近乎最优的定量关系。
• 开发一种具有扩展质量可证明保证的 $k$-路谱划分算法框架。

提出的方法

• 构造 $2k$ 个标准正交特征向量 $g_1, \dots, g_{2k}$，其瑞利商有界，不超过 $O(\lambda_{2k})$。
• 通过 $f_i(v) = g_i(v)/\sqrt{w(v)}$ 进行谱嵌入 $F: V \to \mathbb{R}^{2k}$。
• 使用独立同分布的高斯向量将维度降低至 $\mathbb{R}^h$，其中 $h = O(\log k)$，实现降维。
• 在投影空间中通过基于球体的过程，将每个顶点分配给最近的随机中心，执行随机几何划分。
• 通过最小化质量加权范数 $\mathcal{M}(S)$ 将得到的 $m$ 个集合合并为 $k' = \lceil 3k/2 \rceil$ 个集合，以平衡聚类质量。
• 对每个合并后的集合应用切赫扫掠法，通过在 $\|F^*(v)\|^2$ 上使用阈值法，选择扩展性最小的 $k$ 个集合。

实验结果

研究问题

• RQ1 是否存在 $k$ 个接近零的特征值是否意味着图中存在 $k$ 个不相交的稀疏割？
• RQ2 能否仅使用拉普拉斯矩阵的底 $k$ 个特征向量，实现可证明质量良好的 $k$-路划分？
• RQ3 $\rho_G(k)$ 对 $\lambda_k$ 的最紧可能的定量依赖关系是什么？
• RQ4 在 $k$-路扩展问题中，界中的 $\sqrt{\log k}$ 因子是否紧致？
• RQ5 能否使用随机投影和几何划分来替代谱聚类中的 $k$-均值方法，并保证理论性能？

主要发现

• 论文证明了该猜想：$\lambda_k$ 较小时，意味着存在 $k$ 个不相交的集合，每个集合的扩展性为 $O(\sqrt{\lambda_k \log k})$。
• 建立了近乎最优的上界：$\rho_G(k) \leq O(\sqrt{\lambda_k \log k})$，该界在噪声超立方体图上是紧致的（仅差常数因子）。
• 该算法保证至少存在 $k/2$ 个不相交的集合，其扩展性不超过 $O(\sqrt{\lambda_k \log k})$，其中至少一个集合的大小不超过 $2n/k$。
• 该方法实现了每组扩展性为 $O(k^3 \sqrt{\lambda_k})$ 的 $k$-路划分，相较于先前结果，显式地改进了 $k$-依赖项。
• 该证明具有算法性，利用快速拉普拉斯求解器和随机投影，可实现近乎线性时间的 $k$-路谱划分。
• 证明了 $\sqrt{\log k}$ 因子是必要的且紧致的，因为在一般图中，该因子无法在对数因子范围内进一步改进。