[论文解读] The Bernstein-Orlicz norm and deviation inequalities

Sara van de Geer, Johannes Lederer|arXiv (Cornell University)|Nov 10, 2011

Statistical Mechanics and Entropy参考文献 8被引用 1

一句话总结

本文引入了伯恩斯坦-奥尔里奇范数（Bernstein-Orlicz norm），这是一种新型的奥尔里奇范数，可在亚高斯与亚指数尾部行为之间插值，从而简化了对随机变量上确界偏差不等式的推导。本文发展了基于树结构的链式方法与泛化链式方法，简化了经典技术，并在统一伯恩斯坦条件的假设下，为无界经验过程建立了偏差不等式，给出了以新范数和 bracketing 熵表示的显式界。

ABSTRACT

We introduce two new concepts designed for the study of empirical processes. First, we introduce a new Orlicz norm which we call the Bernstein-Orlicz norm. This new norm interpolates sub-Gaussian and sub-exponential tail behavior. In particular, we show how this norm can be used to simplify the derivation of deviation inequalities for suprema of collections of random variables. Secondly, we introduce chaining and generic chaining along a tree. These simplify the well-known concepts of chaining and generic chaining. The supremum of the empirical process is then studied as a special case. We show that chaining along a tree can be done using entropy with bracketing. Finally, we establish a deviation inequality for the empirical process for the unbounded case.

研究动机与目标

• 开发一种新的奥尔里奇范数，统一亚高斯与亚指数尾部行为，以改进经验过程的分析。
• 利用新范数简化对随机变量上确界偏差不等式的推导。
• 提出一种概念上更简单的基于树的链式与泛化链式框架，用于最大不等式。
• 在统一伯恩斯坦条件假设下，为由函数类索引的经验过程建立偏差不等式，无需要求一致有界性。
• 证明基于树的链式方法可有效结合 bracketing 熵实现。

提出的方法

• 通过函数 $\Psi_L(z) = \left(\exp\left(\frac{\sqrt{1 + 2Lz} - 1}{L}\right)\right)^2 - 1$ 定义伯恩斯坦-奥尔里奇范数，该函数根据参数 $L$ 插值于亚高斯与亚指数行为之间。
• 利用反函数 $\Psi_L^{-1}(t) = \sqrt{\log(1 + t)} + \frac{L}{2}\sqrt{\log(1 + t)}$，通过切比雪夫不等式推导尾部界。
• 将新范数应用于推导有限个随机变量最大值的期望界，以及可数集上确界的界。
• 引入基于树的链式与泛化链式方法，其中树结构简化了覆盖序列的构造。
• 证明 bracketing 熵可用于实现基于树的链式方法，从而控制经验过程上确界的上界。
• 结合新范数与基于树的链式方法，推导在统一伯恩斯坦条件下的无界情形经验过程偏差不等式。

实验结果

研究问题

• RQ1 如何构造一个单一范数，使其在统一框架下捕捉亚高斯与亚指数尾部行为？
• RQ2 链式与泛化链式方法能否通过基于树的结构重新表述，以简化经典构造？
• RQ3 伯恩斯坦-奥尔里奇范数在多大程度上可简化对随机变量上确界偏差不等式的推导？
• RQ4 能否结合新范数与基于树的链式方法，为无界经验过程建立偏差不等式？
• RQ5 bracketing 熵的使用与新链式框架在经验过程中的相互作用如何？

主要发现

• 伯恩斯坦-奥尔里奇范数 $\|\cdot\|_{\Psi_L}$ 捕捉了伯恩斯坦不等式的本质，对于满足伯恩斯坦条件的独立随机变量和，有 $\|Z\|_{\Psi_L} \leq \sqrt{6}\sigma$。
• 对于 $p$ 个满足 $\|Z_j\|_{\Psi_L} \leq \tau$ 的随机变量，其最大值的期望满足 $\mathbb{E} \max_j |Z_j| \leq \tau \left(\sqrt{\log(1+p)} + \frac{L}{2}\sqrt{\log(1+p)}\right)$。
• 基于树的链式方法允许使用 bracketing 熵控制过程上确界，从而简化了经典链式方法。
• 经验过程的偏差不等式被确立为 $\mathbb{P}\left(\sup_{g \in G} |\nu_n(g)| \geq \min_S \bar{E}_S + 62K/\sqrt{n} + 24\sqrt{6} + 24\sqrt{6} \left(\sqrt{t} + \tilde{L}t/2\right)\right) \leq 2\exp[-t]$，其中 $\tilde{L} = \sqrt{6}K/(2\sqrt{n})$。
• 中心化上确界的 $\Psi_{\sqrt{3}\tilde{L}}$-范数满足 $\left\| \left(\sup_G |\nu_n(g)| - \min_S \bar{E}_S - 62K/\sqrt{n} \right)^+ \right\|_{\Psi_{\sqrt{3}\tilde{L}}} \leq 72\sqrt{2}$，提供了精确的集中界。