[论文解读] Sparse Subspace Clustering: Algorithm, Theory, and Applications

Ehsan Elhamifar, Renè Vidal|arXiv (Cornell University)|Mar 5, 2012

Face and Expression Recognition参考文献 57被引用 21

一句话总结

本文提出稀疏子空间聚类（SSC），一种通过利用稀疏表示来聚类位于低维子空间并集中的高维数据的算法：每个数据点被表示为同一子空间中其他点的稀疏线性组合。该方法使用ℓ₁-最小化恢复稀疏系数，构建相似性图，并应用谱聚类，在运动和人脸聚类任务中实现了最先进性能，且对噪声、异常值和缺失数据具有鲁棒性。

ABSTRACT

In many real-world problems, we are dealing with collections of high-dimensional data, such as images, videos, text and web documents, DNA microarray data, and more. Often, high-dimensional data lie close to low-dimensional structures corresponding to several classes or categories the data belongs to. In this paper, we propose and study an algorithm, called Sparse Subspace Clustering (SSC), to cluster data points that lie in a union of low-dimensional subspaces. The key idea is that, among infinitely many possible representations of a data point in terms of other points, a sparse representation corresponds to selecting a few points from the same subspace. This motivates solving a sparse optimization program whose solution is used in a spectral clustering framework to infer the clustering of data into subspaces. Since solving the sparse optimization program is in general NP-hard, we consider a convex relaxation and show that, under appropriate conditions on the arrangement of subspaces and the distribution of data, the proposed minimization program succeeds in recovering the desired sparse representations. The proposed algorithm can be solved efficiently and can handle data points near the intersections of subspaces. Another key advantage of the proposed algorithm with respect to the state of the art is that it can deal with data nuisances, such as noise, sparse outlying entries, and missing entries, directly by incorporating the model of the data into the sparse optimization program. We demonstrate the effectiveness of the proposed algorithm through experiments on synthetic data as well as the two real-world problems of motion segmentation and face clustering.

研究动机与目标

• 解决高维数据位于或接近多个低维子空间时的聚类挑战，这在计算机视觉和机器学习中很常见。
• 开发一种对噪声、稀疏异常值和缺失条目等数据干扰具有鲁棒性的聚类算法，且无需预处理。
• 提供一种理论基础坚实的算法，在适当的子空间和数据分布条件下可恢复正确的稀疏表示。
• 在真实世界数据集（如运动序列和人脸图像）上，实现比现有子空间聚类方法更高的准确率和计算效率。
• 将腐蚀模型（如稀疏异常值）直接整合到优化框架中，实现端到端的鲁棒聚类。

提出的方法

• 该算法使用ℓ₁-最小化，将每个数据点表示为数据集中其他点的稀疏线性组合，优先选择来自同一子空间的点。
• 从稀疏系数矩阵构建相似性图，其中边表示子空间隶属关系。
• 对图应用谱聚类，将数据划分为对应于潜在子空间的簇。
• 将稀疏优化问题松弛为凸ℓ₁-最小化程序，以确保计算可行性。
• 将噪声、稀疏异常值和缺失数据的模型直接整合到优化公式中，实现鲁棒性。
• 理论分析表明，在子空间间主角度和数据分布满足特定条件时，可恢复正确的稀疏表示。

实验结果

研究问题

• RQ1 稀疏表示能否在高维数据中有效识别来自同一子空间的点？
• RQ2 在何种几何和分布条件下，稀疏表示能恢复正确的子结构？
• RQ3 与最先进方法相比，所提出的SSC算法在受污染的真实世界数据上的表现如何？
• RQ4 该算法能否在无需预处理的情况下处理含噪声、稀疏异常值和缺失条目的数据？
• RQ5 在存在数据干扰的情况下，通过ℓ₁-最小化实现子空间恢复的理论保证是什么？

主要发现

• 在Extended Yale B人脸数据集上，SSC对2个类别的聚类误差中位数为0.00%，3个类别为1.04%，5个类别为2.50%，8个类别为4.49%，10个类别为5.63%，优于LRR、LRR-H、LRSC、SCC和LSA。
• 在运动分割任务中，SSC在Hopkins 155数据集上表现出色，能有效处理接近子空间交点的数据和噪声轨迹。
• SSC通过在优化中直接建模腐蚀，对稀疏异常条目和缺失数据表现出鲁棒性，而LSA和SCC缺乏此类机制。
• 该算法的计算时间保持较低且可扩展，优于具有子空间维度指数复杂度的SCC，且与LRR和LRSC等高效凸求解器相当。
• 理论分析证实，在有利条件下（如子空间间有足够的角度分离和均匀的数据分布），稀疏表示可恢复正确的子结构。
• 实验表明，来自同一子空间的数据点在相似性图中始终形成单一连通分量，支持该算法聚类结果的可靠性。