[论文解读] Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms

Anna Little, Mauro Maggioni+1 more|arXiv (Cornell University)|Dec 17, 2017

Advanced Clustering Algorithms Research被引用 14

一句话总结

本文提出基于路径的谱聚类方法，采用最长边路径距离（LLPD）度量，可在存在显著异常值的高维数据中实现对细长及不规则形状聚类的鲁棒聚类。该方法提供了聚类恢复的有限样本保证，证明特征值间隔统计量可正确识别聚类数量，并提出一种准线性时间算法以高效计算LLPD，从而实现大规模数据集上的可扩展谱聚类。

ABSTRACT

We consider the problem of clustering with the longest-leg path distance (LLPD) metric, which is informative for elongated and irregularly shaped clusters. We prove finite-sample guarantees on the performance of clustering with respect to this metric when random samples are drawn from multiple intrinsically low-dimensional clusters in high-dimensional space, in the presence of a large number of high-dimensional outliers. By combining these results with spectral clustering with respect to LLPD, we provide conditions under which the Laplacian eigengap statistic correctly determines the number of clusters for a large class of data sets, and prove guarantees on the labeling accuracy of the proposed algorithm. Our methods are quite general and provide performance guarantees for spectral clustering with any ultrametric. We also introduce an efficient, easy to implement approximation algorithm for the LLPD based on a multiscale analysis of adjacency graphs, which allows for the runtime of LLPD spectral clustering to be quasilinear in the number of data points.

研究动机与目标

• 开发对高维异常值和非球形聚类形状具有鲁棒性的聚类方法。
• 在灵活的概率数据模型下，为基于LLPD的谱聚类提供理论上的有限样本保证。
• 证明在存在噪声和异常值的情况下，特征值间隔统计量可正确识别聚类数量。
• 设计一种快速的准线性时间算法，用于计算LLPD及其关联的拉普拉斯特征系统求解器，以实现可扩展性。
• 通过特征向量扰动界确保谱聚类中的高标签准确率。

提出的方法

• 使用最长边路径距离（LLPD）度量，定义为所有路径中最大边长的最小值，以增强聚类之间的分离度。
• 通过邻接图的多尺度分析，构建LLPD的高效近似算法，实现准线性运行时间。
• 在基于LLPD的相似性图上应用谱聚类，利用图拉普拉斯矩阵提取低维嵌入。
• 利用扰动理论（Fan et al., 2018）界定特征向量偏差，确保谱嵌入的准确性。
• 提出一种旋转不变的谱嵌入方法，使得聚类点在ℓ2距离上至少相距√(2/N)。
• 运用流形学习和渗流理论的技术，推导出聚类内LLPD和聚类间LLPD的界。

实验结果

研究问题

• RQ1 在高维、异常值污染的数据中，LLPD能否作为具有高概率区分聚类内与聚类间距离的判别性度量？
• RQ2 LLPD拉普拉斯矩阵的特征值间隔在何种条件下可正确识别真实聚类数量？
• RQ3 鉴于LLPD的路径本质，如何实现其在大规模数据上的高效计算？
• RQ4 在非参数混合模型下，LLPD谱聚类的标签准确率可建立何种理论保证？
• RQ5 所提出方法在几何不规则性、聚集体积差异及高维噪声下具有多大程度的鲁棒性？

主要发现

• 在高概率下，聚类内LLPD的最大值有界，而聚类间LLPD的最小值严格更大，确保了清晰的相变现象。
• 当条件 $\frac{1}{2} \geq 5\eta_1 + 4\eta_\theta + 6\zeta_N\eta_2 + O(\eta_1^2 + \eta_\theta^2 + \zeta_N^2\eta_2^2)$ 成立时，特征值间隔统计量可正确识别聚类数量。
• 当 $\frac{1}{K^3\zeta_N^2} \gtrsim \eta_1 + \eta_\theta + \zeta_N\eta_2 + O(\eta_1^2 + \eta_\theta^2 + \zeta_N^2\eta_2^2)$ 时，可实现完美标签准确率，确保谱嵌入充分分离。
• 所提出的LLPD近似算法运行时间为准线性，使大规模谱聚类成为可能。
• 谱嵌入误差被限制在 $\|\tilde{\Phi}R - \Phi\|_{\text{max}} \leq P_3 = O\left(\frac{K^{5/2}\zeta_N^2}{\sqrt{N}}(\eta_1 + \eta_\theta + \zeta_N\eta_2)\right)$，确保聚类稳定性。
• 该方法对聚类几何形状具有不变性，且对异常值具有鲁棒性，即使异常值数量相对于内点较大时亦成立。