[论文解读] Sub-Gaussian estimators of the mean of a random vector

Gábor Lugosi, Shahar Mendelson|arXiv (Cornell University)|Feb 1, 2017

Statistical Methods and Inference参考文献 12被引用 8

一句话总结

本文提出了一种基于新概念多变量中位数的新型多变量均值估计器，在仅存在二阶矩的条件下实现了纯粹的次高斯浓度。该估计器将数据划分为若干块，计算每块的均值，并应用一种类似中位数的选择规则，确保在无需次高斯或轻尾假设下达到最优偏差界。

ABSTRACT

We study the problem of estimating the mean of a random vector $X$ given a sample of $N$ independent, identically distributed points. We introduce a new estimator that achieves a purely sub-Gaussian performance under the only condition that the second moment of $X$ exists. The estimator is based on a novel concept of a multivariate median.

研究动机与目标

• 开发一种适用于高维随机向量的均值估计器，使其在不依赖次高斯或轻尾分布的前提下实现次高斯尾部行为。
• 克服传统估计器（如样本均值）在重尾或类似重尾分布下表现欠佳的局限性。
• 将单变量中位数-均值估计器推广至多变量设置，并提供可证明的次高斯性能保证。
• 建立一种基于多变量中位数的新理论框架，确保在最小矩假设下的鲁棒性。

提出的方法

• 提出一种基于最小化到块均值距离平方和的新多变量中位数概念，替代先前工作中使用的几何中位数。
• 将样本划分为 $ k $ 个块，每块大小为 $ m \approx N/k $，并为每个块 $ j \in \{1, \dots, k\} $ 计算经验均值 $ Z_j $。
• 将候选估计器 $ \widehat{\mu}_N $ 定义为 $ \mathbb{R}^d $ 中的点 $ v $，使得在满足 $ \|Z_j - v\| \geq \|Z_j - \mu\| $ 的块数最少，即选择一个在多数块中‘击败’真实均值的点。
• 基于有界差异不等式使用浓度论证，证明估计器以高概率满足次高斯尾部界限。
• 采用一种新颖的对称化与对称化经验过程技术，控制估计器与真实均值之间的偏差。
• 推导出一个关键不等式：若 $ \|a - \mu\| \geq r $，则以高概率 $ a $ 在超过一半的块中被 $ \mu $ 超越，从而实现鲁棒估计器的构建。

实验结果

研究问题

• RQ1 能否构造一种多变量均值估计器，在仅存在二阶矩的条件下实现次高斯尾部界限？
• RQ2 如何将单变量中位数-均值原理推广至多变量设置，同时保持最优统计性能？
• RQ3 支撑新多变量中位数概念的理论基础是什么，以确保鲁棒性与次高斯浓度？
• RQ4 与几何中位数或样本均值相比，使用这种新中位数方法估计均值在计算与统计权衡方面有何不同？

主要发现

• 所提出的估计器实现了次高斯尾部界限：以至少 $ 1 - \delta $ 的概率，有 $ \|\widehat{\mu}_N - \mu\| \leq C \sqrt{ \frac{\mathrm{Tr}(\Sigma)}{N} + \frac{\lambda_{\max} \log(1/\delta)}{N} } $，其中 $ C $ 为绝对常数。
• 该估计器仅要求协方差矩阵 $ \Sigma $ 存在，无需假设次高斯或轻尾尾部。
• 该方法确保对任意 $ \delta \in (0,1) $，估计器满足偏差界，且对 $ \delta $ 的依赖关系达到最优，与次高斯情形一致。
• 该估计器具有鲁棒性：在重尾设定下优于样本均值，且在次高斯假设下性能与样本均值相当。
• 理论分析依赖于一种新颖的对称化技术与有界差异不等式，以控制估计器的偏差。
• 本文证明了该新中位数概念可导出一致估计器，并在高阶矩无穷时仍保持最优浓度。