[论文解读] Outlier Robust Mean Estimation with Subgaussian Rates via Stability

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jul 30, 2020

Statistical Methods and Inference参考文献 36被引用 11

一句话总结

该论文表明，鲁棒统计中的一种稳定性条件可使在有限协方差假设下实现计算高效的异常值鲁棒均值估计，并达到近乎子高斯的误差率。通过利用稳定性并结合一个简单的预处理步骤（分桶），作者设计了首个在强污染模型下实现最优子高斯误差率的高效算法，从而解决了统计最优性与计算效率之间的长期差距。

ABSTRACT

We study the problem of outlier robust high-dimensional mean estimation under a finite covariance assumption, and more broadly under finite low-degree moment assumptions. We consider a standard stability condition from the recent robust statistics literature and prove that, except with exponentially small failure probability, there exists a large fraction of the inliers satisfying this condition. As a corollary, it follows that a number of recently developed algorithms for robust mean estimation, including iterative filtering and non-convex gradient descent, give optimal error estimators with (near-)subgaussian rates. Previous analyses of these algorithms gave significantly suboptimal rates. As a corollary of our approach, we obtain the first computationally efficient algorithm with subgaussian rate for outlier-robust mean estimation in the strong contamination model under a finite covariance assumption.

研究动机与目标

• 在有限协方差和对抗性异常值的高维鲁棒均值估计中，弥合统计最优性与计算效率之间的差距。
• 证明基于稳定性的算法可在强污染模型下实现近乎子高斯的误差率。
• 在强污染模型下，提供首个在有限协方差假设下实现子高斯误差率的计算高效算法。
• 分析稳定性在实现最优误差率中的作用，即使底层分布具有无界支撑时亦成立。
• 探究误差率中的对数因子是否为方法固有，或可通过稳定性本身去除。

提出的方法

• 作者分析了近期鲁棒统计文献中一种标准的稳定性条件，表明以高概率，大量内点满足该条件。
• 他们证明，在强污染模型下，存在一个稳定内点集合，其失败概率呈指数级小，从而支持鲁棒估计。
• 通过应用一个预处理步骤（分桶或截断）来处理具有无界支撑的分布，将其转化为有界支撑情形。
• 该方法依赖于浓度不等式和稳定性引理（例如，引理4.3、4.4、4.5）来在加权分布下控制方差和均值偏差。
• 通过在方差、均值和稳定性保证的失败事件上使用并集界，实现高概率结果。
• 最终估计器通过迭代过滤或非凸梯度下降构建，证明在稳定性条件下可实现最优子高斯误差率。

实验结果

研究问题

• RQ1 基于稳定性的算法能否在有限协方差和强污染条件下实现子高斯误差率的鲁棒均值估计？
• RQ2 是否存在一个计算高效的算法，在仅假设协方差有界的情况下，可在强污染模型下实现最优子高斯误差率？
• RQ3 先前基于稳定性的方法中误差率的对数因子是源于方法本身，还是源于缺乏预处理？
• RQ4 在一般情况下（无界支撑），仅靠稳定性条件是否足以实现子高斯误差率，而无需预处理？
• RQ5 通过基于稳定性的估计方法实现子高斯误差率所需的最小矩假设是什么？

主要发现

• 大量内点以指数级小的失败概率满足稳定性条件，从而支持鲁棒估计。
• 所提出的算法实现了形式为 $ O(σ√{d/n} + √{\log(1/\tau)/n}) $ 的子高斯误差率，与最优信息论率一致。
• 在强污染模型下，首次在有限协方差假设下实现了计算高效的子高斯误差率算法。
• 该方法通过一个简单的预处理步骤（截断/分桶）处理无界支撑，这对实现最优误差率至关重要。
• 当 $\epsilon = \Omega(1)$ 时，误差率中的对数因子被证明可被去除，表明其在一般情况下可能并非必要。
• 分析证实，当初始化在稳定集合上时，迭代过滤和非凸梯度下降方法可实现最优误差率。