[论文解读] Notes on Elementary Spectral Graph Theory. Applications to Graph Clustering Using Normalized Cuts

Jean Gallier|arXiv (Cornell University)|Nov 11, 2013

Graph theory and applications参考文献 13被引用 9

一句话总结

本文提供了谱图理论的全面介绍，重点聚焦于图聚类中的归一化割（normalized cuts）。它解释了图拉普拉斯矩阵及其归一化变体（对称型与随机游走型）如何通过特征向量实现降维，进而通过能量最小化图绘制和谱松弛方法，最小化归一化割目标函数，实现最优聚类。

ABSTRACT

These are notes on the method of normalized graph cuts and its applications to graph clustering. I provide a fairly thorough treatment of this deeply original method due to Shi and Malik, including complete proofs. I include the necessary background on graphs and graph Laplacians. I then explain in detail how the eigenvectors of the graph Laplacian can be used to draw a graph. This is an attractive application of graph Laplacians. The main thrust of this paper is the method of normalized cuts. I give a detailed account for K = 2 clusters, and also for K > 2 clusters, based on the work of Yu and Shi. Three points that do not appear to have been clearly articulated before are elaborated: 1. The solutions of the main optimization problem should be viewed as tuples in the K-fold cartesian product of projective space RP^{N-1}. 2. When K > 2, the solutions of the relaxed problem should be viewed as elements of the Grassmannian G(K,N). 3. Two possible Riemannian distances are available to compare the closeness of solutions: (a) The distance on (RP^{N-1})^K. (b) The distance on the Grassmannian. I also clarify what should be the necessary and sufficient conditions for a matrix to represent a partition of the vertices of a graph to be clustered.

研究动机与目标

• 为不熟悉图拉普拉斯矩阵与归一化割的科研人员提供一个自包含且易于理解的谱图理论入门。
• 阐明归一化割的数学基础，包括未归一化与归一化拉普拉斯矩阵的作用。
• 展示如何通过能量最小化与谱松弛将归一化割的图聚类问题建模为图绘制问题。
• 形式化谱聚类与射影空间上黎曼几何之间的联系，特别是在最小化 RP^n 上距离的背景下。
• 对体积、割、连接关系以及 Courant-Fischer 定理等关键概念提供严谨但直观的处理，尤其在图划分的语境下。

提出的方法

• 为加权无向图定义未归一化图拉普拉斯矩阵 $ L = D - W $，并通过恒等式 $ x^\top L x = \frac{1}{2} \sum_{i,j} w_{ij}(x_i - x_j)^2 $ 证明其半正定性。
• 引入归一化拉普拉斯矩阵 $ L_{\mathrm{sym}} = D^{-1/2} L D^{-1/2} $ 和 $ L_{\mathrm{rw}} = D^{-1} L $，并证明其与归一化割目标函数的等价性。
• 通过最小化能量函数 $ \mathcal{E}(R) = \mathrm{tr}(R^\top L R) $（其中 $ R $ 为嵌入矩阵）将图聚类建模为图绘制问题。
• 采用谱松弛方法：最优 $ n $-维嵌入由拉普拉斯矩阵 $ L $ 对应于最小的 $ n $ 个非零特征值的 $ n $ 个特征向量给出。
• 应用瑞利商与 Courant-Fischer 定理，验证谱松弛方法的合理性，并推导归一化割的界。
• 在 $ \mathbb{RP}^{n} $ 上建模聚类问题，表明在射影空间上最小化测地线距离等价于在对称对下最小化 $ \min_{a \in A} \|x - a\|_2 $ 或 $ \|x + a\|_2 $。

实验结果

研究问题

• RQ1 如何利用谱图理论在图聚类中最小化归一化割？
• RQ2 图绘制能量最小化与图拉普拉斯矩阵的谱聚类之间存在何种数学联系？
• RQ3 归一化拉普拉斯矩阵 $ L_{\mathrm{sym}} $ 与 $ L_{\mathrm{rw}} $ 如何与归一化割目标函数关联？
• RQ4 射影空间 $ \mathbb{RP}^n $ 的几何结构如何简化谱聚类中最优聚类代表的搜索？
• RQ5 图拉普拉斯矩阵的零空间维度与图中连通分量的数量之间有何关系？

主要发现

• 图中连通分量的数量等于未归一化图拉普拉斯矩阵 $ L $ 的零空间维度，即 $ \dim(\ker L) = $ 连通分量数量。
• 图绘制的能量 $ \mathcal{E}(R) = \mathrm{tr}(R^\top L R) $ 在 $ R $ 由 $ L $ 对应于最小的 $ n $ 个非零特征值的 $ n $ 个特征向量构成时被最小化。
• 对于 $ K $-路聚类，通过使用 $ L_{\mathrm{sym}} $ 的前 $ K $ 个特征向量求解松弛谱问题，可最小化归一化割目标函数，解被投影到 $ \mathbb{RP}^{K-1} $ 上。
• 射影空间 $ \mathbb{RP}^n $ 上两点 $ [x] $ 与 $ [y] $ 之间的距离为 $ d([x],[y]) = \cos^{-1}(|x \cdot y|) $，最小化该距离等价于在 $ a \in A $ 上最小化 $ \min\{ \|x - a\|_2, \|x + a\|_2 \} $。
• 当集合 $ A \subseteq S^n $ 关于对径映射封闭时，最小化 $ \mathbb{RP}^n $ 上的测地线距离可简化为在 $ \mathbb{R}^{n+1} $ 中最小化欧氏距离，从而简化聚类优化。
• 归一化割目标函数在 $ \mathbb{RP}^n $ 中代表元的选择下保持不变，最优聚类解对应于离散割问题的连续松弛，离散解可通过对连续特征向量解进行四舍五入获得。