[论文解读] Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit

Chong You, Daniel P. Robinson+1 more|arXiv (Cornell University)|Jul 5, 2015

Sparse and Compressive Sensing Techniques参考文献 42被引用 23

一句话总结

本文提出SSC-OMP，一种基于正交匹配追踪（OMP）的可扩展稀疏子空间聚类方法，可高效实现保持子空间的亲和性。该文证明，在广泛条件下（如子空间独立或充分分离） OMP 能保证子空间保持性，同时保持计算效率，在真实数据集（如MNIST和人脸图像）上的准确率和速度均优于$β$-正则化方法。

ABSTRACT

Subspace clustering methods based on $\ell_1$, $\ell_2$ or nuclear norm regularization have become very popular due to their simplicity, theoretical guarantees and empirical success. However, the choice of the regularizer can greatly impact both theory and practice. For instance, $\ell_1$ regularization is guaranteed to give a subspace-preserving affinity (i.e., there are no connections between points from different subspaces) under broad conditions (e.g., arbitrary subspaces and corrupted data). However, it requires solving a large scale convex optimization problem. On the other hand, $\ell_2$ and nuclear norm regularization provide efficient closed form solutions, but require very strong assumptions to guarantee a subspace-preserving affinity, e.g., independent subspaces and uncorrupted data. In this paper we study a subspace clustering method based on orthogonal matching pursuit. We show that the method is both computationally efficient and guaranteed to give a subspace-preserving affinity under broad conditions. Experiments on synthetic data verify our theoretical analysis, and applications in handwritten digit and face clustering show that our approach achieves the best trade off between accuracy and efficiency.

研究动机与目标

• 开发一种计算高效的子空间聚类方法，同时保持子空间保持性的理论保证。
• 用正交匹配追踪（OMP）替代SSC中的$β$-正则化基追踪（BP），以提升可扩展性。
• 建立OMP生成子空间保持表示的理论条件，即使在任意或受损子空间下也成立。
• 与现有方法（如SSC-BP、LSR和LRR）相比，展示在准确率与效率之间更优的权衡。

提出的方法

• 使用正交匹配追踪（OMP）求解子空间聚类中的稀疏表示问题，替代SSC-BP中的基追踪（BP）。
• 通过迭代方式从数据矩阵$X$中选择最能表示每个数据点的原子，强制系数矩阵$C$满足稀疏性与主对角线为零。
• 利用$w_{ij} = |c_{ij}| + |c_{ji}|$构建亲和矩阵$W$，用于谱聚类。
• 证明当子空间独立或充分分离且数据分布良好时，OMP可生成保持子空间的$C$。
• 利用随机矩阵理论与浓度不等式，推导出相干性与表示误差的概率界。
• 采用OMP中的贪心选择策略，避免求解大规模凸优化问题，从而实现对大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 在何种条件下，正交匹配追踪（OMP）能在稀疏子空间聚类中生成保持子空间的表示？
• RQ2 SSC-OMP在聚类准确率与计算效率方面与SSC-BP、LSR和LRR相比表现如何？
• RQ3 OMP能否在弱于$β$-正则化方法的假设下实现子空间保持性的理论保证？
• RQ4 子空间分离程度与数据分布对OMP在子空间聚类中成功的影响是什么？

主要发现

• 当子空间独立或充分分离时，SSC-OMP即使在子空间维度任意或数据受损的情况下，也能保证子空间保持的亲和性。
• 在MNIST数字聚类与人脸聚类数据集上，该方法实现了最先进水平的准确率，优于SSC-BP、LSR和LRSC。
• 在合成数据上，SSC-OMP在保持SSC-BP理论保证的同时，显著提升了速度，尤其在大规模问题上优势明显。
• 理论分析表明，OMP实现子空间保持的充分条件（通过相干性与表示误差）强于以往工作，意味着更广泛的应用潜力。
• 实证结果证实，即使在噪声或异常值污染的数据中，OMP仍能保持高聚类准确率，尤其在结合后处理时表现更优。
• 由于避免了凸优化，该方法在大规模数据集上具有高效可扩展性，适用于真实世界应用。