[论文解读] Simultaneous concentration of order statistics

Daniel J. Fresen|arXiv (Cornell University)|Feb 6, 2011

Bayesian Methods and Mixture Models参考文献 20被引用 3

一句话总结

本文通过建立在 i.i.d. 样本中所有或大多数顺序统计量同时围绕其理论分位数集中时的条件，对 Glivenko-Cantelli 定理进行了改进。证明表明，超指数尾部衰减可确保所有顺序统计量的统一集中，而指数尾部则在高概率下使大多数顺序统计量集中，为对数凹分布（包括正态分布）提供了定量边界。

ABSTRACT

Let $μ$ be a probability measure on $\mathbb{R}$ with cumulative distribution function $F$, $(x_{i})_{1}^{n}$ a large i.i.d. sample from $μ$, and $F_{n}$ the associated empirical distribution function. The Glivenko-Cantelli theorem states that with probability 1, $F_{n}$ converges uniformly to $F$. In so doing it describes the macroscopic structure of $\{x_{i}\}_{1}^{n}$, however it is insensitive to the position of individual points. Indeed any subset of $o(n)$ points can be perturbed at will without disturbing the convergence. We provide several refinements of the Glivenko-Cantelli theorem which are sensitive not only to the global structure of the sample but also to individual points. Our main result provides conditions that guarantee simultaneous concentration of all order statistics. The example of main interest is the normal distribution.

研究动机与目标

• 解决 Glivenko-Cantelli 定理和 Donsker 定理在大样本中对单个或小部分顺序统计量不敏感的问题。
• 提供改进的集中不等式，以同时控制所有或大多数顺序统计量相对于其理论分位数的偏差。
• 刻画顺序统计量实现统一集中的条件，特别关注尾部分布行为和对数凹分布。
• 将 Gnedenko 大数定律扩展至对所有顺序统计量的同步控制，而不仅限于极值。
• 通过逆 CDF 的性质和尾部分布衰减速率，为对数凹分布（包括正态分布）提供定量边界。

提出的方法

• 使用逆累积分布函数 $ F^{-1} $ 将均匀顺序统计量 $ i/(n+1) $ 映射到理论分位数 $ x_{(i)}^* $，然后界定偏差 $ |x_{(i)} - x_{(i)}^*| $。
• 引入尾部分布衰减条件：对于定理 1，$ \lim_{t\to\infty} \frac{1-F(t+\varepsilon)}{1-F(t)} = 0 $；对于定理 2 和 3，$ \limsup < 1 $，以确保快速衰减。
• 通过经验过程 $ X_n(t) = \sqrt{n}(F_n(t) - F(t)) $ 应用集中不等式，利用 Dvoretzky-Kiefer-Wolfowitz 类型的边界。
• 利用对数凹性推导 $ F^{-1} $ 的利普希茨型边界，特别是通过引理 6 和引理 7，将 $ |F^{-1}(x) - F^{-1}(y)| $ 与 $ \log(x^{-1}y) $ 和 $ \log(1-x)^{-1} $ 关联。
• 将尾部分布衰减条件与度量熵及链式论证相结合，以控制所有 $ i \in \{1, \dots, n\} $ 的偏差，尤其在中间区域和尾部。
• 使用涉及 $ \delta_n = \exp(-\max\{i: \kappa_i \leq n\}) $ 和 $ \omega_n \to \infty $ 的概率边界，以确保高概率集中。

实验结果

研究问题

• RQ1 在何种分布 $ \mu $ 条件下，所有顺序统计量会同时围绕其期望分位数集中？
• RQ2 分布 $ \mu $ 的尾部分布行为，特别是超指数衰减，如何影响所有顺序统计量的统一集中？
• RQ3 当尾部分布衰减仅为指数级而非超指数级时，能否实现大多数顺序统计量的高概率集中？
• RQ4 能否为对数凹分布（如正态分布）建立关于逆 CDF 和尾部分布衰减速率的定量边界？
• RQ5 经典 Glivenko-Cantelli 定理在多大程度上可被强化，以控制个体顺序统计量，而不仅限于经验过程？

主要发现

• 对于具有超指数尾部的分布，定理 1 保证所有顺序统计量统一集中：以至少 $ 1 - \delta_n $ 的概率，有 $ \sup_{1 \leq i \leq n} |x_{(i)} - x_{(i)}^*| \leq \delta_n $，其中 $ \delta_n \to 0 $。
• 对于具有指数尾部分布衰减的分布，定理 2 确保除 $ o(n) $ 个之外的所有顺序统计量集中：以 $ \delta_n \to 0 $ 和 $ \omega_n \to \infty $，有 $ \sup_{\omega_n \leq i \leq n - \omega_n} |x_{(i)} - x_{(i)}^*| \leq \delta_n $。
• 定理 3 为所有顺序统计量提供了高概率边界：以至少 $ 1 - 400T^{-1/2} $ 的概率，有 $ \sup_{1 \leq i \leq n} |x_{(i)} - x_{(i)}^*| \leq kT $，其中任意 $ T > 10^6 $。
• 对于对数凹分布，定理 4 表明以高概率，有 $ |x_{(i)} - x_{(i)}^*| \leq c \frac{\log \log n}{(\log n)^{1 - 1/p}} $，当 $ i \leq n^{3/4} $ 且 $ i \geq n - n^{3/4} $，并在中间区域通过 $ n^{1/4} $-利普希茨边界实现统一控制。
• 证明了逆 CDF $ F^{-1} $ 对于 $ p $-对数凹测度在 $ \theta_p $-度量下是利普希茨的，从而可通过度量熵论证实现统一控制。
• 结果通过同时控制所有顺序统计量（而不仅最大值或最小值）扩展了 Gnedenko 大数定律。