[论文解读] Operator norm convergence of spectral clustering on level sets

Bruno Pelletier, Pierre Pudlo|arXiv (Cornell University)|Feb 11, 2010

Advanced Clustering Algorithms Research参考文献 31被引用 6

一句话总结

该论文提出了一种谱聚类算法，将聚类定义为密度函数估计水平集的连通分量。通过将非参数密度估计与高密度点上的谱聚类相结合，作者建立了经验图拉普拉斯矩阵的几乎必然算子范数收敛性，从而在温和的正则性条件下确保了特征空间中聚类表示的强一致性。

ABSTRACT

Following Hartigan, a cluster is defined as a connected component of the t-level set of the underlying density, i.e., the set of points for which the density is greater than t. A clustering algorithm which combines a density estimate with spectral clustering techniques is proposed. Our algorithm is composed of two steps. First, a nonparametric density estimate is used to extract the data points for which the estimated density takes a value greater than t. Next, the extracted points are clustered based on the eigenvectors of a graph Laplacian matrix. Under mild assumptions, we prove the almost sure convergence in operator norm of the empirical graph Laplacian operator associated with the algorithm. Furthermore, we give the typical behavior of the representation of the dataset into the feature space, which establishes the strong consistency of our proposed algorithm.

研究动机与目标

• 开发一种聚类算法，将聚类定义为高密度水平集的连通分量，与 Hartigan 的几何定义相一致。
• 确保在应用于估计水平集时，谱聚类的渐近一致性。
• 通过证明经验图拉普拉斯矩阵的几乎必然算子范数收敛，强化先前研究中仅建立集体紧收敛的结果。
• 阐明在所提算法下，特征空间中谱表示的渐近行为。
• 为在无监督学习中对密度估计水平集使用谱聚类提供理论依据。

提出的方法

• 该算法首先使用非参数方法估计密度，并选择估计密度超过阈值 $ t $ 的数据点，形成水平集。
• 然后基于基于核的相似性矩阵构建的图拉普拉斯矩阵的特征向量，对所选点进行谱聚类。
• 图拉普拉斯算子被分析为再生核希尔伯特空间上的有限秩算子，其收敛性在算子范数拓扑下进行研究。
• 理论分析依赖于积分算子的谱理论，特别是经验算子的特征值和特征空间向总体对应物的收敛性。
• 通过使用紧算子理论和谱映射定理建立收敛性，利用水平集具有有限个连通分量的事实。
• 一个关键技术步骤是将算子谱分解为孤立部分和剩余部分，从而实现对特征值和特征空间收敛性的控制。

实验结果

研究问题

• RQ1 当样本量增加时，应用于估计的 $ t $-水平集的谱聚类是否收敛到真实的聚类结构？
• RQ2 当聚类限制在水平集上时，经验图拉普拉斯算子的何种收敛性可以建立？
• RQ3 在所提算法下，特征空间中数据的谱表示如何渐近表现？
• RQ4 经验图拉普拉斯矩阵的特征空间能否一致估计与水平集连通分量相关的真特征空间？
• RQ5 经验算子的特征值和特征向量与水平集上潜在总体算子的特征值和特征向量之间存在何种关系？

主要发现

• 经验图拉普拉斯算子在算子范数下以几乎必然收敛于水平集上的总体算子，强化了先前仅建立集体紧收敛性的结果。
• 经验图拉普拉斯矩阵的前 $ \ell $ 个特征值以几乎必然收敛于 1，其中 $ \ell $ 为水平集的连通分量数。
• 与最大特征值（1）相关的特征空间以算子范数收敛于维数为 $ \ell $ 的真实特征空间，从而确保了聚类结构的一致恢复。
• 经验图拉普拉斯矩阵的特征向量渐近地与真实连通分量的指示函数对齐，通过分量收敛于标准基向量得到验证。
• 数据点在特征空间中的表示收敛于其真实聚类的指示函数，证实了聚类输出的强一致性。
• 在密度和带宽选择的温和正则性假设下，该收敛性成立，确保了广泛适用性。