[论文解读] Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering

Eysan Mehrbani, Mohammad Hossein Kahaei+1 more|arXiv (Cornell University)|Mar 6, 2021

Sparse and Compressive Sensing Techniques参考文献 31被引用 6

一句话总结

该论文提出了一种新型子空间聚类方法——张量拉普拉斯正则化低秩表示（TLR-LRR），通过引入张量超图模型来捕捉可变邻域大小和非均匀数据密度，从而增强非线性及重叠流形中的局部性建模。该方法在具有非线性、异常值和几何重叠的合成与真实数据集上均实现了最先进（SOTA）的聚类准确率。

ABSTRACT

Low-Rank Representation (LRR) highly suffers from discarding the locality information of data points in subspace clustering, as it may not incorporate the data structure nonlinearity and the non-uniform distribution of observations over the ambient space. Thus, the information of the observational density is lost by the state-of-art LRR models, as they take a constant number of adjacent neighbors into account. This, as a result, degrades the subspace clustering accuracy in such situations. To cope with deficiency, in this paper, we propose to consider a hypergraph model to facilitate having a variable number of adjacent nodes and incorporating the locality information of the data. The sparsity of the number of subspaces is also taken into account. To do so, an optimization problem is defined based on a set of regularization terms and is solved by developing a tensor Laplacian-based algorithm. Extensive experiments on artificial and real datasets demonstrate the higher accuracy and precision of the proposed method in subspace clustering compared to the state-of-the-art methods. The outperformance of this method is more revealed in presence of inherent structure of the data such as nonlinearity, geometrical overlapping, and outliers.

研究动机与目标

• 解决标准低秩表示（LRR）在子空间聚类中难以捕捉局部性和非均匀数据分布的局限性。
• 在数据非线性、几何重叠和异常值存在的情况下，提升聚类准确率。
• 通过用超图结构替代固定-k近邻假设，实现可变邻域大小的建模。
• 引入稀疏性和非负性约束，以增强对异常值的鲁棒性并改善子空间表示。
• 开发一种基于ADMM的高效优化框架，实现可扩展计算。

提出的方法

• 提出一种张量超图模型，用于表示具有可变邻域大小的数据关系，替代固定-k邻近假设。
• 基于超图结构引入张量拉普拉斯正则化项，以保留局部流形信息。
• 定义一个优化问题，结合核范数（用于低秩）、L1-范数（用于稀疏性和误差）以及张量拉普拉斯正则化。
• 对系数矩阵施加非负性约束，以确保邻居的凸组合，从而提升鲁棒性。
• 使用增广拉格朗日乘子法（ADMM）求解优化问题，并提供收敛性保证。
• 采用多维张量表示，以建模数据点之间复杂且高阶的关系。

实验结果

研究问题

• RQ1 在数据呈现非均匀密度和非线性特征时，基于超图的正则化是否能提升子空间聚类的准确率？
• RQ2 通过超图实现的可变邻域大小选择，相较于LRR中的固定-k邻近模型，其性能优势如何？
• RQ3 基于张量的拉普拉斯正则化在低秩子空间中对局部性保持的增强程度如何？
• RQ4 稀疏性和非负性约束的整合在提升对异常值和重叠子空间的鲁棒性方面效果如何？
• RQ5 与现有LRR变体相比，所提方法的计算效率和可扩展性如何？

主要发现

• 在双月形合成数据集上，TLR-LRR实现了99%的聚类准确率，显著优于ALLRR（79%）和LRLRR（94%）。
• 在三圆数据集上，TLR-LRR达到98%准确率，超过ALLRR（93%）和LRLRR（45%）。
• 在Extended YaleB数据集上，TLR-LRR实现92%准确率，优于LRLRR（88%）和ALLRR（48%）。
• 在USPS数据集上，TLR-LRR达到97%准确率，超过LRLRR（89%）和ALLRR（47%）。
• 该方法保持了O(MN²)的计算复杂度，与LRLRR相当，且比ALLRR（O(KMN²)）更高效。
• 所提方法在合成与真实世界实验中均表现出对数据非线性、几何重叠和异常值的卓越鲁棒性。