[论文解读] Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering

Ilias Diakonikolas, Sushrut Karmalkar+3 more|arXiv (Cornell University)|Nov 19, 2019

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本论文提出了一种用于对抗性污染下鲁棒高维稀疏估计的迭代滤波算法，利用谱技术高效地去除异常值。所提方法在样本复杂度仅依赖于稀疏度 $k$ 且对维度 $d$ 为对数关系时，实现了近乎最优的误差保证，实际性能优于以往基于椭球优化的方法，同时与理论边界保持一致。

ABSTRACT

We study high-dimensional sparse estimation tasks in a robust setting where a constant fraction of the dataset is adversarially corrupted. Specifically, we focus on the fundamental problems of robust sparse mean estimation and robust sparse PCA. We give the first practically viable robust estimators for these problems. In more detail, our algorithms are sample and computationally efficient and achieve near-optimal robustness guarantees. In contrast to prior provable algorithms which relied on the ellipsoid method, our algorithms use spectral techniques to iteratively remove outliers from the dataset. Our experimental evaluation on synthetic data shows that our algorithms are scalable and significantly outperform a range of previous approaches, nearly matching the best error rate without corruptions.

研究动机与目标

• 解决当恒定比例数据遭受对抗性污染时的高维稀疏估计挑战。
• 为稀疏均值估计与稀疏PCA设计计算高效且样本高效的鲁棒估计器。
• 克服基于椭球法的已有可证明算法中不切实际的运行时间。
• 在仅使用谱运算进行异常值去除的前提下，实现与最先进方法相当的误差保证。

提出的方法

• 基于谱分析的迭代滤波，用于识别并从数据集中移除被污染的点。
• 应用线性滤波，根据随机方向上的偏离程度检测并移除异常值。
• 引入二次滤波，以处理因异常值分布对称而导致线性滤波失效的情况。
• 将滤波与稀疏化结合，以保持低维输出并提升准确性。
• 利用稀疏信号的结构设计对对抗性污染具有鲁棒性的滤波器，而无需依赖凸优化。
• 在每次迭代中仅使用简单的特征值计算来近似协方差类矩阵的最大特征值，从而实现可扩展性。

实验结果

研究问题

• RQ1 我们能否设计一种在计算上高效且在对抗性污染下实现近乎最优误差的鲁棒稀疏均值估计器？
• RQ2 谱滤波如何适应稀疏场景，以避免依赖椭球算法？
• RQ3 在存在恒定比例被污染数据的情况下，鲁棒稀疏PCA所需的样本复杂度是多少？
• RQ4 迭代滤波结合线性与二次滤波是否能在实际中优于现有方法，同时保持理论保证？
• RQ5 所提方法在多大程度上避免了朴素鲁棒估计器中常见的 $\sqrt{k}$ 误差依赖？

主要发现

• 所提的 RME_sp 算法在样本复杂度 $\widetilde{O}(k^2)$ 下实现 $\widetilde{O}(\varepsilon)$ 的误差，与先前工作的理论边界一致。
• 对于鲁棒稀疏PCA，当 $k < \sqrt{d}$ 时，RSPCA 的样本复杂度优于密集方法，且性能方差更低。
• 实验结果表明，RME_sp 在性能上优于 RANSAC、NP 以及简化的线性滤波变体，成功避免了 $\varepsilon\sqrt{k}$ 的误差依赖。
• 在 $k=10, d=300, m=50$ 的常数偏置噪声下，算法运行时间仅需 0.015 秒，显著快于基于 SDP 的替代方案（每轮超过 10 秒）。
• 实验结果表明，$\widetilde{O}(k)$ 个样本可能已足够，与理论 $\widetilde{O}(k^2)$ 边界相比，显示出更高的样本效率。
• 在二次滤波成功移除异常值的场景中，如线性隐藏噪声模型，线性滤波失效，而二次滤波能有效应对。