[论文解读] Sparse Subspace Clustering by Orthogonal Matching Pursuit.

Chong You, Renè Vidal|arXiv (Cornell University)|Jul 5, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用 5

一句话总结

该论文提出了一种基于正交匹配追踪（OMP）的计算高效稀疏子空间聚类方法，可保证在任意子空间下的正确聚类，其在准确性和可扩展性方面均优于 $ε$-正则化方法。该方法在大规模数据集上实现了最先进性能，包括100,000个点的聚类，且无需依赖独立子空间或干净数据等强假设。

ABSTRACT

Subspace clustering methods based on $\ell_1$, $\ell_2$ or nuclear norm regularization have become very popular due to their simplicity, theoretical guarantees and empirical success. However, the choice of the regularizer can greatly impact both theory and practice. For instance, $\ell_1$ regularization is guaranteed to give the correct clustering under broad conditions (e.g., arbitrary subspaces and corrupted data), but requires solving a large scale convex optimization problem. On the other hand, $\ell_2$ and nuclear norm regularization provide efficient closed form solutions, but require very strong assumptions to guarantee the correct clustering (e.g., independent subspaces and uncorrupted data). This paper proposes a new subspace clustering method based on orthogonal matching pursuit that is computationally efficient and guaranteed to provide the correct clustering for arbitrary subspaces. Experiments on synthetic data verify our theoretical analysis, and applications in handwritten digit and face clustering show that our approach achieves the best trade off between accuracy and efficiency. Moreover, our approach is the only one that can handle 100,000 points.

研究动机与目标

• 解决子空间聚类中计算效率与理论保证之间的权衡问题。
• 克服 $ε$-正则化方法的局限性，后者在正确聚类时需要强假设（如独立子空间、未污染数据）。
• 开发一种方法，结合 $ε$-正则化的理论鲁棒性与闭式解的计算高效性。
• 实现大规模数据集（包括100,000个点的数据集）的可扩展子空间聚类，而先前的方法在这些场景下失效或过于缓慢。

提出的方法

• 将正交匹配追踪（OMP）适配于子空间聚类中的稀疏表示问题，通过迭代选择最能表示残差的原子。
• 利用OMP计算数据点相对于其他点的稀疏表示，形成自表达表示矩阵。
• 在所得表示矩阵上应用谱聚类以获得最终聚类结果。
• 利用OMP的贪心选择过程，相比求解大规模凸优化问题，显著降低计算成本。
• 理论分析表明，在广泛条件下（任意子空间、数据污染），OMP可恢复正确的稀疏表示以实现聚类。
• 该方法通过采用贪心追踪策略替代 $ε$-正则化，避免求解大规模凸规划问题。

实验结果

研究问题

• RQ1 像OMP这样的贪心追踪方法是否能在任意子空间和数据污染条件下，实现与 $ε$-正则化方法相同的正确聚类理论保证？
• RQ2 与基于凸优化的方法相比，基于OMP的子空间聚类是否能在显著降低计算成本的同时保持高准确率？
• RQ3 基于OMP的聚类能否扩展到大规模数据集——特别是100,000个点的数据集，而其他方法在此类场景下失效或不可行？
• RQ4 在真实数据（如手写数字和人脸）上，基于OMP的聚类方法在准确性和效率方面与 $ε$-正则化和 $ε^2$-正则化方法相比表现如何？
• RQ5 数据污染和子空间结构对基于OMP方法的聚类性能有何影响？

主要发现

• 基于OMP的方法即使在任意子空间和数据污染条件下，也能实现与 $ε$-正则化方法相同的正确聚类理论保证。
• 该方法计算高效，可扩展至100,000个数据点，这是其他最先进方法未能实现的能力。
• 在合成数据上，该方法通过在各种条件下正确恢复子空间结构，验证了其理论分析。
• 在人脸和手写数字聚类任务中，该方法在所有对比方法中实现了最佳的准确率与效率权衡。
• 该方法在速度和可扩展性方面优于 $ε^2$-正则化和 $ε$-正则化方法，同时保持或提升了聚类准确率。