[论文解读] When does the Tukey median work?

Banghua Zhu, Jiantao Jiao+1 more|arXiv (Cornell University)|Jan 21, 2020

Advanced Statistical Methods and Models参考文献 11被引用 4

一句话总结

本文分析了在总变差（TV）污染下Tukey中位数的鲁棒性，表明其崩溃点在高维半空间对称分布下降至1/4，低于Huber加性模型下的1/3。本文提出了一种基于半空间度量的投影算法，实现了最优的1/2崩溃点，与平移等变估计量的理论极限一致，且样本复杂度随维度呈线性增长，具有优异的有限样本性能。

ABSTRACT

We analyze the performance of the Tukey median estimator under total variation (TV) distance corruptions. Previous results show that under Huber's additive corruption model, the breakdown point is 1/3 for high-dimensional halfspace-symmetric distributions. We show that under TV corruptions, the breakdown point reduces to 1/4 for the same set of distributions. We also show that a certain projection algorithm can attain the optimal breakdown point of 1/2. Both the Tukey median estimator and the projection algorithm achieve sample complexity linear in dimension.

研究动机与目标

• 为了理解Tukey中位数估计量在更强的总变差（TV）污染模型下的表现，该模型允许从真实分布中添加和删除质量。
• 为了量化Tukey中位数在TV污染下的最大偏差和崩溃点，特别是针对高维半空间对称分布。
• 为了将Tukey中位数与其它鲁棒估计量进行比较，特别是在TV污染下崩溃点和有限样本性能方面的表现。
• 为了提出并分析一种基于半空间度量的新投影算法，该算法在半空间对称分布下实现了最优的1/2崩溃点。

提出的方法

• 本文将Tukey中位数定义为具有最大Tukey深度的点（或点集），其中深度定义为通过该点的任意超平面一侧概率质量的下确界。
• 引入了在TV污染下对Tukey中位数的总体水平分析，使用衰减函数 $ h(t) $ 的广义逆来界定最大偏差。
• 作者定义了一种新估计量，即 $ \widetilde{\mathsf{TV}} $ 投影算法，该算法将被污染的经验分布投影到具有受控尾部衰减的半空间对称分布集合上。
• 投影在一种改进的 $ \widetilde{\mathsf{TV}} $ 距离下进行，从而实现对偏差和崩溃点的更紧密控制。
• 有限样本分析通过证明当样本量 $ n $ 与维度 $ d $ 呈线性关系时，结果收敛到无限样本极限的常数倍，从而扩展了总体结果。
• 该方法在无意识和自适应污染模型下比较了Tukey中位数与投影算法，为两者建立了理论保证。

实验结果

研究问题

• RQ1 与经典的Huber加性模型相比，Tukey中位数估计量在总变差（TV）污染下的崩溃点是多少？
• RQ2 在TV污染下，对于半空间对称分布，是否存在一种鲁棒估计量可实现1/2的崩溃点，且该值是否为最优？
• RQ3 在TV污染下，Tukey中位数的有限样本性能与总体行为相比如何？
• RQ4 在TV污染下，$ \widetilde{\mathsf{TV}} $ 投影算法在最大偏差和崩溃点方面是否优于Tukey中位数？
• RQ5 在TV污染下的鲁棒估计中，是否存在仿射等变性与最优崩溃点之间的权衡？

主要发现

• 在TV污染下，高维半空间对称分布的Tukey中位数崩溃点为1/4，低于Huber加性模型下的1/3。
• $ \widetilde{\mathsf{TV}} $ 投影算法在相同分布类下实现了1/2的崩溃点，这是任何平移等变估计量的最优值。
• 投影估计量的最大偏差被限制在 $ 2h^{-1}(1/2 - \epsilon) $ 以内，其中 $ h $ 为分布尾部的衰减函数，$ \epsilon $ 为TV污染水平。
• 当样本量 $ n $ 与维度 $ d $ 呈线性关系时，Tukey中位数和投影算法的有限样本性能均以常数因子逼近总体极限。
• 在TV污染下，投影算法在最大偏差和崩溃点方面优于Tukey中位数，尽管其不具备仿射等变性。
• 本文指出了一个开放问题：设计一种具有1/2崩溃点和良好有限样本误差的仿射等变估计量，且在TV污染下无需依赖计算效率。