[论文解读] Thresholding based Efficient Outlier Robust PCA

Yeshwanth Cherapanamjeri, Prateek Jain+1 more|arXiv (Cornell University)|Feb 18, 2017

Sparse and Compressive Sensing Techniques参考文献 7被引用 7

一句话总结

本文提出了一种基于阈值的迭代算法，用于对抗性异常值下的鲁棒主成分分析（PCA），在对抗性异常值下实现了接近最优的低秩子空间恢复，每轮迭代的复杂度与数据规模呈线性关系，运行时间几乎与标准PCA相当。该方法通过在投影长度和奇异向量对齐度上采用双重阈值策略，能够稳健地检测并移除异常值，即使异常值的范数远超内点奇异值。

ABSTRACT

We consider the problem of outlier robust PCA (OR-PCA) where the goal is to recover principal directions despite the presence of outlier data points. That is, given a data matrix $M^*$, where $(1-α)$ fraction of the points are noisy samples from a low-dimensional subspace while $α$ fraction of the points can be arbitrary outliers, the goal is to recover the subspace accurately. Existing results for \OR-PCA have serious drawbacks: while some results are quite weak in the presence of noise, other results have runtime quadratic in dimension, rendering them impractical for large scale applications. In this work, we provide a novel thresholding based iterative algorithm with per-iteration complexity at most linear in the data size. Moreover, the fraction of outliers, $α$, that our method can handle is tight up to constants while providing nearly optimal computational complexity for a general noise setting. For the special case where the inliers are obtained from a low-dimensional subspace with additive Gaussian noise, we show that a modification of our thresholding based method leads to significant improvement in recovery error (of the subspace) even in the presence of a large fraction of outliers.

研究动机与目标

• 解决现有鲁棒PCA方法的局限性，这些方法在噪声和对抗性污染下存在计算成本过高或性能不佳的问题。
• 设计一种高效算法，在保持低计算复杂度的同时，能够处理高达 $ O(1/r) $ 比例的异常值，且不牺牲准确性。
• 通过利用污染的列稀疏性以及对内点估计的迭代精化，克服标准SVD在异常值存在下的脆弱性。
• 通过在估计的奇异向量上使用基于投影的异常值检测方法，确保在异常值范数较大、会偏差主成分时的鲁棒性。
• 在非一致性假设下，实现对真实主子空间的近乎最优恢复，即使在噪声和高维设置下也适用。

提出的方法

• 提出一种迭代算法，交替使用两种阈值算子来估计异常值集合：一种基于残差投影长度，另一种基于与估计主方向的对齐度。
• 在移除可疑异常值后，对数据矩阵应用截断SVD，以在每轮迭代中更新主子空间的估计。
• 采用一种新颖的双重阈值策略：首先，识别出在估计主成分上投影较大的点（表明为潜在异常值）；其次，利用正交投影检测与当前子空间未对齐的异常值。
• 通过在低维椭球体上保持投影算子的凸松弛，确保子空间估计过程中的收敛性和稳定性。
• 使用类似二分法的方法高效求解投影子问题，其收敛性基于KKT条件和目标函数的单调性。
• 利用非一致性假设（假设1）确保内点不会不当影响主成分，从而实现可靠的异常值检测。

实验结果

研究问题

• RQ1 我们能否设计一种鲁棒PCA算法，其计算复杂度接近标准PCA，同时能容忍常数比例的对抗性异常值？
• RQ2 当异常值的范数超过内点时，如何有效检测异常值，使得基于长度的阈值方法失效？
• RQ3 何种阈值策略能够在估计的主方向受异常值偏差影响时，仍实现鲁棒的异常值检测？
• RQ4 在具有稀疏污染的一般噪声模型下，我们能否实现对真实主子空间的近乎最优恢复？
• RQ5 计算高效PCA算法的异常值容忍理论极限是什么？我们能否通过实用方法逼近这一极限？

主要发现

• 所提算法在假设异常值比例 $ α $ 小于 $ O(1/r) $ 的前提下，实现了对真实主子空间 $ U^* $ 的近乎最优恢复，其中 $ r $ 为底层子空间的秩。
• 该方法的运行时间几乎等同于标准PCA，每轮迭代复杂度与数据点数量呈线性关系，显著优于 $ O(nd^2) $ 或 $ O(n^2d) $ 的方法。
• 对于内点具有加性高斯噪声的特殊情况，该算法的改进版本相比先前方法实现了显著更低的子空间恢复误差。
• 该算法在 $ O(\log(1/\epsilon)) $ 次迭代内收敛至与真实投影算子 $ \mathcal{P}_{\mathcal{E}}(x) $ 的 $ \epsilon $-精度解，其投影子问题采用基于二分法的求解器。
• 实验结果表明，双重阈值机制——结合投影长度与估计奇异向量的对齐度——即使在异常值范数占主导时，也能实现鲁棒的异常值检测。
• 理论分析证实，该方法在非一致性假设下保持稳定性和收敛性，确保在迭代过程中不会错误地移除内点。