[论文解读] Robust subspace recovery by geodesically convex optimization

Teng Zhang|arXiv (Cornell University)|Jun 7, 2012

Advanced Statistical Methods and Models参考文献 23被引用 12

一句话总结

本文通过在正定矩阵流形上将问题表述为测地凸优化，提出了一种用于鲁棒子空间恢复的Tyler's M-估计器。证明了目标函数在测地意义下是凸的，且具有唯一最小值点，并在异常值比例受控的温和条件下，实现了精确的子空间恢复。

ABSTRACT

We introduce Tyler's M-estimator to robustly recover the underlying linear model from a data set contaminated by outliers. We prove that the objective function of this estimator is geodesically convex on the manifold of all positive definite matrices and have a unique minimizer. Besides, we prove that when inliers (i.e., points that are not outliers) are sampled from a subspace and the percentage of outliers is bounded by some number, then under some very weak assumptions a commonly used algorithm of this estimator can recover the underlying subspace exactly. We also show that empirically this algorithm compares favorably with other convex algorithms of subspace recovery.

研究动机与目标

• 解决高维数据中存在异常值时的子空间恢复问题。
• 开发一种鲁棒估计方法，即使在大量数据点为异常值时仍能保持准确性。
• 在弱假设下建立对底层子空间精确恢复的理论保证。
• 通过实验评估证明所提方法在性能上优于现有凸算法。

提出的方法

• 利用Tyler's M-估计器，将子空间恢复问题表述为在正定矩阵流形上的优化问题。
• 证明Tyler's M-估计器的目标函数在正定矩阵流形上是测地凸的。
• 建立测地凸目标函数存在唯一最小值点的结论。
• 应用一种常用于测地凸优化的算法，以恢复底层子空间。
• 依赖于对内点分布的弱假设，仅要求内点位于一个子空间中。
• 使用黎曼流形上的几何优化技术，以确保在异常值存在时的收敛性和稳定性。

实验结果

研究问题

• RQ1 Tyler's M-估计器能否在正定矩阵流形上表述为测地凸优化问题？
• RQ2 Tyler's M-估计器的测地凸目标函数是否能保证存在唯一最小值点？
• RQ3 在存在异常值时，该算法在何种条件下可精确恢复真实的底层子空间？
• RQ4 该算法在实际应用中与其它凸子空间恢复方法相比性能如何？
• RQ5 当异常值比例受控时，精确子空间恢复的理论保证是什么？

主要发现

• Tyler's M-估计器的目标函数在正定矩阵流形上是测地凸的，从而确保存在唯一最小值点。
• 当内点从子空间中采样且异常值比例被常数限制时，可严格证明实现精确子空间恢复。
• 该理论恢复保证在内点分布的假设下极为微弱。
• 实验结果表明，所提算法在鲁棒性和准确性方面优于其他凸子空间恢复算法。
• 目标函数的测地凸性使得可利用标准黎曼流形算法实现稳定且高效的优化。