[论文解读] RANSAC Algorithms for Subspace Recovery and Subspace Clustering

Ery Arias-Castro, Jue Wang|arXiv (Cornell University)|Nov 30, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用 9

一句话总结

该论文提出并分析了基于RANSAC的算法，用于在存在异常值的情况下进行鲁棒子空间恢复与子空间聚类。论文建立了RANSAC成功概率和计算复杂度的理论保证，表明尽管在无噪声情况下RANSAC是精确且理论最优的，但当内点比例较低时其效率显著下降，使其在实际应用中变得不切实际。

ABSTRACT

We consider the RANSAC algorithm in the context of subspace recovery and subspace clustering. We derive some theory and perform some numerical experiments. We also draw some correspondences with the methods of Hardt and Moitra (2013) and Chen and Lerman (2009b).

研究动机与目标

• 严格分析RANSAC在异常值污染下的子空间恢复与子空间聚类中的性能与计算复杂度。
• 建立RANSAC在内点比例较低时虽理论上最优但计算成本过高这一结论，形式化文献中已知的局限性。
• 在不同数据配置下，通过实证比较RANSAC与SSC、SCC和TSC等先进方法的表现。
• 建立RANSAC与现有鲁棒子空间学习方法之间的理论联系，包括Hardt & Moitra（2013）以及Chen & Lerman（2009b）的工作。

提出的方法

• 提出一种用于子空间恢复的标准RANSAC算法，通过采样(d+1)个点的组合并检查其线性相关性，以识别出d维的潜在子空间。
• 将RANSAC框架扩展至子空间聚类，通过迭代采样p个点的组合，识别最小的线性相关子集，并从数据中移除内点以恢复多个子空间。
• 使用一个函数𝒜，当(d+1)个点的组合线性相关（即张成的子空间维度≤d）时返回1，并将其适配用于Chen和Lerman（2009b）的SCC算法中。
• 在相似性矩阵W_ij上应用谱图分割，其中W_ij表示同时在线性相关(d+1)个点组合中的点i和j的次数。
• 在子空间聚类流程中，用ℓ₁-最小化替代NP难的最稀疏解寻找步骤，以获得计算上更可行的替代方案。
• 在多个配置下（变化的d, p, K, m, m₀）进行数值实验，通过500次重复实验测量Rand指数和系统运行时间。

实验结果

研究问题

• RQ1 在假设1下，RANSAC在子空间恢复中的理论成功概率和期望迭代次数是多少？
• RQ2 RANSAC在子空间恢复与聚类中的计算复杂度如何随内点比例降低而变化？
• RQ3 在不同数据配置下，RANSAC在准确率和运行时间上与SSC、SCC和TSC相比如何？
• RQ4 RANSAC能否与Hardt & Moitra（2013）以及Chen & Lerman（2009b）等现有鲁棒子空间聚类方法建立严格的理论联系？
• RQ5 在高维、异常值丰富的环境中，RANSAC在何种条件下仍具有竞争力，尽管其计算成本高昂？

主要发现

• RANSAC在子空间恢复中的成功概率为θ₁ = C(m, d+1)/C(n, d+1)，期望迭代次数为1/θ₁，当m/n较小时该值变得难以接受。
• 在无噪声设定下，RANSAC是精确且理论最优的，但其计算成本随内点比例下降而迅速上升。
• 数值实验表明，当异常值数量较少时（例如(d,p,K,m,m₀) = (4,8,3,50,50)），RANSAC在所有测试配置中均达到Rand指数1.0，表明聚类完美。
• 尽管准确率高，RANSAC在(d,p,K,m,m₀) = (8,10,3,50,50)配置下的平均系统运行时间达到17.18秒，准确率优于SSC和SCC，但运行速度较慢。
• SSC和SCC在低维设置下表现优异（Rand指数分别为0.9997和0.9548），但TSC在异常值丰富时表现差（Rand指数0.2849）。
• 当内在维度d适中且异常值较少时，RANSAC在准确率上仍具竞争力，但随着d增加或异常值数量上升，其实际应用性显著下降。