[论文解读] Robust Subspace Recovery with Adversarial Outliers

Tyler Maunu, Gilad Lerman|arXiv (Cornell University)|Apr 5, 2019

Sparse and Compressive Sensing Techniques参考文献 47被引用 9

一句话总结

该论文提出了两种可计算的算法——基于RANSAC的算法和SGGD算法，用于在对抗性异常值存在下实现鲁棒子空间恢复，在无噪声设置下实现了最先进的理论保证。研究证明，在信号噪声比（SNR）被限制在$ O(d) $时可实现精确恢复，显著优于以往工作所需$ O(d) $但常数较大的结果。

ABSTRACT

We study the problem of robust subspace recovery (RSR) in the presence of adversarial outliers. That is, we seek a subspace that contains a large portion of a dataset when some fraction of the data points are arbitrarily corrupted. We first examine a theoretical estimator that is intractable to calculate and use it to derive information-theoretic bounds of exact recovery. We then propose two tractable estimators: a variant of RANSAC and a simple relaxation of the theoretical estimator. The two estimators are fast to compute and achieve state-of-the-art theoretical performance in a noiseless RSR setting with adversarial outliers. The former estimator achieves better theoretical guarantees in the noiseless case, while the latter estimator is robust to small noise, and its guarantees significantly improve with non-adversarial models of outliers. We give a complete comparison of guarantees for the adversarial RSR problem, as well as a short discussion on the estimation of affine subspaces.

研究动机与目标

• 为对抗性异常值下的鲁棒子空间恢复（RSR）中的崩溃点提供全面的理论分析。
• 通过推导精确恢复的紧致SNR边界，弥合信息论极限与实际算法之间的差距。
• 开发快速、可计算的算法，在对抗性异常值的无噪声RSR设置下实现接近最优的理论性能。
• 通过对称化和鲁棒偏移估计，将理论保证扩展至仿射子空间恢复。
• 比较现有具有理论保证的RSR算法，识别在对抗性条件下表现最佳的方法。

提出的方法

• 引入一种不可计算的理论估计器，以推导在对抗性异常值存在下精确恢复的信噪比（SNR）的信息论下限。
• 提出RANSAC的一种变体，可在$ c(d) = \Omega(1/\mathrm{poly}\log(d)) $下实现$ O(d) $的SNR边界，为无噪声情况提供了强有力的理论保证。
• 对理论估计器进行简单松弛，提出SGGD（半定高斯去噪）算法，计算效率高且对小噪声具有鲁棒性。
• 对数据应用对称化以实现仿射子空间恢复：$ \mathcal{X}' = \{ \mathbf{x}_i - \mathbf{x}_j \} $，使SGGD能够估计子空间的线性分量。
• 在完成线性子空间恢复后，使用投影点的几何中位数来鲁棒估计仿射子空间的偏移。
• 建立对称化情况下的SNR边界，表明有效SNR按$ \alpha^2/(1 - \alpha^2) $缩放，其中$ \alpha $为内点比例。

实验结果

研究问题

• RQ1 在对抗性异常值存在的鲁棒子空间恢复中，精确恢复所需的信噪比（SNR）的信息论下限是多少？
• RQ2 在无噪声RSR设置下，可计算的算法能否实现接近信息论极限的SNR边界？
• RQ3 在SNR阈值和对噪声的鲁棒性方面，RANSAC和SGGD的理论保证如何比较？
• RQ4 在对抗性异常值存在下，能否实现具有理论保证的仿射子空间恢复？需要对线性子空间方法进行哪些修改？
• RQ5 数据对称化对仿射RSR中的SNR和计算复杂度有何影响？

主要发现

• 在无噪声RSR设置下，对抗性异常值存在时，精确恢复的信息论下限为$ O(1) $，表明当内点排列良好时，可用常数SNR实现精确恢复。
• 所提出的RANSAC变体实现了$ \Omega(d / \mathrm{poly}\log(d)) $的SNR边界，显著优于以往工作所需$ O(d) $但常数较大的结果。
• SGGD算法实现了$ O(d) $的SNR边界，且常数远优于以往方法，例如文献[46]中的$ 121\mu d/9 $边界和文献[5]中的$ 128\mu^2 d - 1 $边界。
• SGGD对小噪声具有鲁棒性，且在非对抗性异常值模型下，其理论保证显著提升。
• 在仿射子空间恢复中，对称化使有效内点比例降低$ \alpha $倍，导致对称化数据中的SNR为$ \alpha^2/(1 - \alpha^2) $。
• 在无噪声情况下，SGGD后投影点的几何中位数可恢复真实偏移，且其范数最小，前提是经对称化数据的SNR超过$ 3\sqrt{3}d \cdot \kappa_d(\widetilde{\mathbf{X}_{\mathrm{in}}^\prime}}) $。