[论文解读] Some compact notations for concentration inequalities and user-friendly results

Kaizheng Wang|arXiv (Cornell University)|Dec 31, 2019

Distributed Sensor Networks and Detection Algorithms参考文献 7被引用 4

一句话总结

本文引入了一种紧凑且用户友好的记号 $O_{\mathbb{P}}(\cdot;\ \cdot)$，用于表示浓度不等式，该记号能同时捕捉随机变量的典型大小和尾部衰减速率，从而简化高维统计与机器学习中的概率分析。该记号支持无常数的清晰推理，并可得到精确的非渐近界，如在统计学习中梯度估计的一致收敛结果中所展示的那样。

ABSTRACT

This paper presents compact notations for concentration inequalities and convenient results to streamline probabilistic analysis. The new expressions describe the typical sizes and tails of random variables, allowing for simple operations without heavy use of inessential constants. They bridge classical asymptotic notations and modern non-asymptotic tail bounds together. Examples of different kinds demonstrate their efficacy.

研究动机与目标

• 解决经典浓度不等式中无意义常数泛滥的问题，这些常数阻碍了直观且高效的概率推理。
• 通过将大小信息与尾部分布信息统一于单一记号中，弥合渐近记号（如 $O_{\mathbb{P}}$）与非渐近尾部界之间的鸿沟。
• 开发一种记号，可在不牺牲数学严谨性的前提下，简化对随机变量集合的证明与一致控制。
• 为机器学习、统计学以及高维推断中的概率分析提供一种实用且可复用的框架。

提出的方法

• 提出一种双参数 $O_{\mathbb{P}}(Y_n;\ r_n)$ 记号，其中 $Y_n$ 表示随机变量序列的典型大小，$r_n$ 表示其尾部分布的衰减速率。
• 通过概率界定义该记号：当 $t$ 较大时，有 $\mathbb{P}(|X_n| \geq t|Y_n|) \leq C_1 e^{-r_n f(t)}$，其中 $f$ 为单调递增且无界的函数。
• 建立等价表述形式，以灵活处理随机大小与渐近行为。
• 通过度量熵与覆盖论证方法，将该记号应用于一致控制问题，特别是通过链式方法。
• 采用包含 $\varepsilon_n$-网与增量的Lipschitz型界的方法，控制参数空间上泛函的上确界。
• 通过统计学习中梯度估计器一致收敛性的具体应用，展示了该记号的实用性。

实验结果

研究问题

• RQ1 如何表达浓度不等式，以最小化干扰性常数，同时保留尾部行为？
• RQ2 能否通过单一记号统一渐近 $O_{\mathbb{P}}$ 的直观性与非渐近尾部界的精确性？
• RQ3 该新记号在处理高维或复杂参数空间上随机过程上确界问题的证明时，能在多大程度上实现简化？
• RQ4 该记号如何应用于统计学习问题中实现一致控制，例如梯度估计？

主要发现

• 所提出的 $O_{\mathbb{P}}(\cdot;\ \cdot)$ 记号能清晰分离并控制随机变量的典型大小与尾部衰减速率，显著减少无意义常数带来的杂乱。
• 在具有 $d_n$ 个参数与 $n$ 个样本的高维模型中，经验梯度与其期望之间的一致偏差被界定为 $\sup_{\|\bm{\theta}\|_2 \leq R} \|\nabla\hat{L}_n(\bm{\theta}) - \nabla L_n(\bm{\theta})\|_2 = O_{\mathbb{P}}(\sqrt{d_n \log(n/d_n)/n};\ d_n \log(n/d_n))$。
• 在给定假设下，尾部分布衰减速率 $r_n = d_n \log(n/d_n)$ 被证明是最优的，与参数空间的熵相匹配。
• 链式论证得到的界形式为 $O_{\mathbb{P}}(\sqrt{r_n/n} + \varepsilon_n;\ (r_n \wedge n) \wedge n)$，当 $n > d_n$ 时可简化为 $O_{\mathbb{P}}(\sqrt{r_n/n};\ r_n)$。
• 该方法成功避免了常数的重复定义，实现了高维概率中清晰且模块化的推理。