[论文解读] Spectral Clustering Based on Local PCA

Ery Arias-Castro, Gilad Lerman+1 more|arXiv (Cornell University)|Jan 9, 2013

Face and Expression Recognition参考文献 33被引用 43

一句话总结

本文提出一种基于局部主成分分析（PCA）的谱聚类方法，通过测量局部切空间之间的差异来解决相交流形的聚类问题，从而在标准谱聚类方法失效的情况下实现精确聚类。在光滑性和几何假设下，理论上可保证分离相交簇，且在多流形聚类设置中优于传统方法。

ABSTRACT

We propose a spectral clustering method based on local principal components analysis (PCA). After performing local PCA in selected neighborhoods, the algorithm builds a nearest neighbor graph weighted according to a discrepancy between the principal subspaces in the neighborhoods, and then applies spectral clustering. As opposed to standard spectral methods based solely on pairwise distances between points, our algorithm is able to resolve intersections. We establish theoretical guarantees for simpler variants within a prototypical mathematical framework for multi-manifold clustering, and evaluate our algorithm on various simulated data sets.

研究动机与目标

• 为解决标准谱聚类在分离相交簇时的失败问题，特别是在流形以锐角相交的情况下。
• 开发一种利用局部线性结构（即切空间）的方法，通过局部PCA估计，以提升非参数化、多流形设置下的聚类精度。
• 在标准多流形聚类数学框架下，为算法的简化变体提供理论保证。
• 证明基于局部PCA的亲和度能够捕捉交点处的平滑性与连续性，而基于距离的亲和度则无法做到。

提出的方法

• 算法在每个数据点处，通过在半径为r的局部邻域内使用主成分分析（PCA）来估计局部切空间。
• 基于欧氏距离以及相邻点之间局部切子空间的夹角差异构建亲和矩阵。
• 使用主子空间之间的差异度量对最近邻图进行加权，优先连接具有相似局部几何结构的点。
• 随后对加权图应用谱聚类以恢复簇结构。
• 采用阈值策略排除那些切空间差异显著的点之间的连接，尤其在交点附近。
• 理论分析基于Davis-Kahan定理与几何集中性，以界定估计子空间的扰动，并确保在交点处实现分离。

实验结果

研究问题

• RQ1 基于局部PCA的亲和度是否能够解决标准谱聚类因仅依赖成对距离而失败的相交流形问题？
• RQ2 在何种几何与采样条件下，局部切空间差异可可靠地分离相交簇？
• RQ3 算法性能如何依赖于邻域大小r与数据噪声水平τ？
• RQ4 能否在典型多流形聚类框架下，为算法的简化变体建立理论保证？
• RQ5 该方法在处理平滑、非参数化及相交流形方面，与现有方法相比表现如何？

主要发现

• 该算法成功分离了以直角相交的两条直线，而标准谱聚类在此情况下会失败。
• 理论分析表明，当邻域半径r和噪声水平τ足够小时，该方法可基于切空间差异区分交点附近的点。
• 估计切子空间与真实切子空间之间的差异被界定为O(ξ^{d/(d+2)} + r)，其中ξ控制采样密度，d为内在维数。
• 在有噪声情况下（τ > 0），只要τ/r足够小，该方法仍具鲁棒性，协方差矩阵的扰动被限制在r²(2τ/r + (τ/r)²)以内。
• 当切空间夹角超过阈值η时，算法可实现交点处的分离，该条件可通过控制r和ξ来确保。
• 数值实验验证了该方法在处理复杂相交流形（包括弯曲及高维曲面）方面的能力，超越了简单直线的情形。