[论文解读] Spectral Convergence Rate of Graph Laplacian

Xu Wang|arXiv (Cornell University)|Oct 27, 2015

Topological and Geometric Data Analysis参考文献 12被引用 20

一句话总结

本文建立了从嵌入在 $\mathbb{R}^D$ 中的 $d$-维流形采样得到的数据的图拉普拉斯矩阵的谱收敛速率，表明在无噪声情况下，该速率仅依赖于内在维数 $d$，而当存在噪声时，速率则转而依赖于环境维数 $D$。该分析为谱聚类的一致性提供了理论依据，并强调了去噪的必要性，以实现与 $D$ 无关、仅依赖于 $d$ 的收敛速率。

ABSTRACT

Laplacian Eigenvectors of the graph constructed from a data set are used in many spectral manifold learning algorithms such as diffusion maps and spectral clustering. Given a graph constructed from a random sample of a $d$-dimensional compact submanifold $M$ in $\mathbb{R}^D$, we establish the spectral convergence rate of the graph Laplacian. It implies the consistency of the spectral clustering algorithm via a standard perturbation argument. A simple numerical study indicates the necessity of a denoising step before applying spectral algorithms.

研究动机与目标

• 建立当数据从 $d$-维紧致子流形 $M \subset \mathbb{R}^D$ 中采样时，图拉普拉斯矩阵的谱收敛速率。
• 阐明核带宽 $h$ 应如何随样本量 $n$ 变化以实现最优收敛，特别是在 $n \to \infty$ 和 $h \to 0$ 的极限情况下。
• 研究噪声的影响——即点偏离流形时——对收敛速率的影响，特别是其对环境维数 $D$ 的依赖性。
• 通过基于谱收敛的摄动论证，为谱聚类的一致性提供理论依据。
• 通过实证方法展示，当存在噪声时，随着环境维数 $D$ 增加，图的连通性和收敛质量显著下降，提示需要进行去噪处理。

提出的方法

• 分析从流形 $M$ 上独立同分布采样构建的对称归一化图拉普拉斯矩阵 $L = I - D^{-1/2} K D^{-1/2}$。
• 在 $L^2(P)$ 上定义连续线性算子 $T_{h}$ 和 $T_{n,h}$，分别表示极限和经验图拉普拉斯矩阵。
• 使用带宽可变的高斯核 $k_h(x,y) = \exp(-\|x-y\|^2 / h^2)$ 来建模点之间的相似性。
• 应用摄动理论，将 $T_{n,h}$ 对 $T_h$ 的谱收敛与谱聚类算法的一致性联系起来。
• 通过分析 $T_{n,h}$ 与 $T_h$ 之间差值的算子范数，在无噪声和有噪声设定下推导收敛速率。
• 通过阈值化核值（$k_h(x_i,x_j) \leq 0.001$）并测量在不同 $n$ 和 $D$ 下实现连通性所需的最小 $h$，对图连通性进行实证评估。

实验结果

研究问题

• RQ1 当数据精确位于 $d$-维流形上时，图拉普拉斯矩阵的谱收敛速率如何随样本量 $n$ 和带宽 $h$ 变化？
• RQ2 在存在噪声的情况下，收敛速率对内在维数 $d$ 与环境维数 $D$ 的依赖关系如何？
• RQ3 是否可以通过预处理使图拉普拉斯矩阵的收敛速率与环境维数 $D$ 无关？
• RQ4 带宽 $h$ 的选择如何影响高维噪声环境中图的连通性？
• RQ5 基于图拉普拉斯收敛的谱聚类一致性，其理论依据是什么？

主要发现

• 在无噪声情况下，图拉普拉斯矩阵的谱收敛速率仅依赖于内在维数 $d$，而不依赖于环境维数 $D$。
• 当引入噪声，使得数据点位于 $M$ 的管状邻域内时，收敛速率依赖于环境维数 $D$，且收敛需满足条件 $\sqrt{n} h^{5D+3} \to \infty$。
• 数值实验表明，在噪声情况下，实现图连通性所需的最小带宽 $h$ 随环境维数 $D$ 显著增加，表明性能在实际中出现退化。
• 结果表明，除非进行去噪处理，否则谱聚类算法在高维噪声环境中会因收敛性差而表现不佳。
• 理论分析证实，只要收敛速率足够快，谱聚类在图拉普拉斯矩阵谱收敛的前提下具有一致性。
• 本文指出了当前理论的一个缺口：尽管已建立谱收敛，但谱聚类中 $K$-均值步骤的收敛速率仍未得到分析。