[论文解读] Robust subgaussian estimation of a mean vector in nearly linear time

Jules Depersin, Guillaume Lecué|arXiv (Cornell University)|Jun 7, 2019

Machine Learning and Algorithms被引用 8

一句话总结

该论文提出了一种鲁棒均值估计算法，在几乎线性时间 $\tilde{\cal O}(Nd)$ 内，通过新颖结合中位数-均值原理与覆盖半定规划，实现了重尾分布和异常值污染数据下的次高斯率。该方法可自适应未知异常值数量，并在无需事先知晓污染水平或分布参数的情况下达到最优统计性能。

ABSTRACT

We construct an algorithm, running in time $ ilde{\mathcal O}(N d + uK d)$, which is robust to outliers and heavy-tailed data and which achieves the subgaussian rate from [Lugosi, Mendelson] \begin{equation}\label{eq:intro_subgaus_rate} \sqrt{\frac{{ m Tr}(Σ)}{N}}+\sqrt{\frac{||Σ||_{op}K}{N}} \end{equation}with probability at least $1-\exp(-c_0K)-\exp(-c_1 u)$ where $Σ$ is the covariance matrix of the informative data, $K\in\{1, \ldots, K\}$ is some parameter (number of block means) and $u>0$ is another parameter of the algorithm. This rate is achieved when $K\geq c_1 |\mathcal O|$ where $|\mathcal O|$ is the number of outliers in the database and under the only assumption that the informative data have a second moment. The algorithm is fully data-dependent and does not use in its construction the proportion of outliers nor the rate above. Its construction combines recently developed tools for Median-of-Means estimators and covering-Semi-definite Programming [Chen, Diakonikolas, Ge] and [Peng, Tangwongsan, Zhang].

研究动机与目标

• 开发一种快速、数据相关的鲁棒均值估计算法，基于最小二阶矩假设。
• 在几乎线性时间内实现重尾数据的次高斯率，优于先前的多项式时间方法。
• 消除算法构建中对异常值数量或污染率的先验知识需求。
• 结合中位数-均值与覆盖半定规划技术，实现统计效率与计算效率的双重优化。
• 通过数据驱动的选择机制，实现对异常值数量的自动适应。

提出的方法

• 该算法以中位数-均值框架为起点，通过坐标轴方向的中位数计算初始化鲁棒性。
• 应用基于覆盖的半定规划（SDP）过程来优化估计，利用方向集合上的集中不等式。
• 采用多级搜索策略，通过数据的二元分解，迭代测试不同尺度的块均值。
• 通过在候选值上进行二分搜索，自适应选择步长，并在每一层使用SDP验证进展。
• 最终估计器从一系列候选解中根据数据驱动的停止规则选出，以平衡精度与计算成本。
• 该构造完全依赖数据，无需与异常值比例或置信水平相关的调参。

实验结果

研究问题

• RQ1 能否设计一种鲁棒均值估计器，在几乎线性时间内实现重尾数据的次高斯率？
• RQ2 算法如何在无需事先知晓污染水平的情况下，自动适应未知数量的异常值？
• RQ3 覆盖SDP技术能否与中位数-均值方法有效结合，以同时实现统计最优性与计算效率？
• RQ4 在高维鲁棒估计中，实现次高斯偏差概率的最小计算成本是多少？
• RQ5 能否构建一种鲁棒估计器，同时自适应于协方差矩阵的有效秩与异常值数量？

主要发现

• 所提算法以高概率 $1 - \exp(-c_0 K) - \exp(-c_1 u)$ 实现次高斯率 $\sqrt{\frac{\operatorname{Tr}(\Sigma)}{N}} + \sqrt{\frac{\|\Sigma\|_{\text{op}} K}{N}}$，与先前工作的最优统计率一致。
• 当 $u_j = 2^j$ 时，算法在几乎线性时间 $\tilde{\cal O}(Nd)$ 内运行，实现常数概率保证，样本复杂度中无对数因子。
• 对于次高斯偏差概率，当 $u_j = \lceil N/2^j \rceil$ 时，算法运行时间为 $\tilde{\cal O}(N^2 d)$，对所有 $K \geq 600|\mathcal{O}|$ 实现 $1 - 4\exp(-K/360000)$ 的置信度。
• 估计器无需输入 $|\mathcal{O}|$ 即可自动适应异常值数量，在 $|\mathcal{O}| = \epsilon N$ 时达到速率 $\sqrt{\frac{\operatorname{Tr}(\Sigma)}{N}} + \sqrt{\|\Sigma\|_{\text{op}} \epsilon}$。
• 当 $N \sim \frac{\operatorname{Tr}(\Sigma)}{\|\Sigma\|_{\text{op}} \epsilon}$ 时，出现相变现象，估计误差由样本大小主导转变为由污染主导。
• 该算法完全依赖数据，无需知晓异常值比例或置信水平 $\delta$，因此适用于实际应用场景。