[论文解读] Novel Bernstein-like Concentration Inequalities for the Missing Mass

Bahman Yari Saeed Khanloo, Gholamreza Haffari|arXiv (Cornell University)|Mar 10, 2015

Statistical Mechanics and Entropy参考文献 8被引用 3

一句话总结

该论文为离散分布中的缺失质量提出了新颖的类似伯恩斯坦的集中不等式，通过阈值化技术控制结果概率的异质性。通过一种新型的与方差感知的正则化方法调节各项大小，该方法在小偏差情况下实现了比以往工作更紧的界，尤其在 $ε < 0.021$（下尾）和 $ε < 0.045$（上尾）时改进了当前最先进结果。

ABSTRACT

We are concerned with obtaining novel concentration inequalities for the missing mass, i.e. the total probability mass of the outcomes not observed in the sample. We not only derive - for the first time - distribution-free Bernstein-like deviation bounds with sublinear exponents in deviation size for missing mass, but also improve the results of McAllester and Ortiz (2003) andBerend and Kontorovich (2013, 2012) for small deviations which is the most interesting case in learning theory. It is known that the majority of standard inequalities cannot be directly used to analyze heterogeneous sums i.e. sums whose terms have large difference in magnitude. Our generic and intuitive approach shows that the heterogeneity issue introduced in McAllester and Ortiz (2003) is resolvable at least in the case of missing mass via regulating the terms using our novel thresholding technique.

研究动机与目标

• 解决缺失质量缺乏精确集中不等式的问题，特别是在学习理论中至关重要的小偏差区域。
• 克服标准不等式在处理各项大小差异显著的异质和时的局限性。
• 开发一种无需依赖特定分布假设的分布无关框架，以实现对缺失质量波动的更紧界。
• 通过引入阈值化机制，改进McAllester & Ortiz（2003）和Berend & Kontorovich（2013）的现有界，以调节各项贡献。
• 利用具有偏差大小次线性指数的类似伯恩斯坦不等式，建立缺失质量的更紧上尾与下尾偏差界。

提出的方法

• 引入一种阈值化技术，根据阈值 $\tau^*$ 将结果划分为低概率与高概率组，以调节求和中各项的大小。
• 定义截断的随机变量 $Y'$ 和 $Y''$，以控制方差和鞅差分，从而可应用标准集中不等式。
• 通过有界方差 $V_{\mathcal{L}''}$ 和最大项大小 $\alpha_l$ 应用伯恩斯坦不等式于截断和，其中 $\alpha_l = \tau'$ 且 $V_{\mathcal{L}''} \leq \frac{\theta}{n} \epsilon + \frac{2\theta}{3n} \cdot \frac{\gamma-1}{\gamma} \epsilon$。
• 使用指数矩方法并精心选择 $\gamma$ 以优化界，得到 $\exp\left(-\frac{3n\epsilon(\gamma-1)^2}{10\gamma^2 \ln(\gamma/\epsilon)}\right)$，并在 $\gamma$ 上进行最小化。
• 通过 $|g_l(\theta)| \leq f(\theta)$ 控制补偿间隙 $g_l(\theta)$，确保其在小 $\epsilon$ 时保持可忽略，从而保持界的整体紧致性。
• 通过对称应用该方法，建立上下尾界，最终界表示为 $\mathbb{P}(Y - \mathbb{E}[Y] \leq -\epsilon) \leq \exp(-c(\epsilon) \cdot n\epsilon)$。

实验结果

研究问题

• RQ1 我们能否推导出对缺失质量更紧的集中不等式，使其为分布无关且在小偏差情况下依然有效？
• RQ2 在缺失质量估计中，如何解决伯努利变量和中各项概率差异极大的异质性问题？
• RQ3 在缺失质量背景下，阈值化技术能在多大程度上提升类似伯恩斯坦界在尖锐性方面的表现？
• RQ4 我们能否在保持分布无关保证的同时，使偏差率中 $\epsilon$ 的指数部分呈现次线性依赖？
• RQ5 截断引入的补偿间隙对最终界有何影响？能否使其在小 $\epsilon$ 时变得可忽略？

主要发现

• 所提方法在所有 $\epsilon < 0.021$ 时，下尾界均比 Berend 和 Kontorovich（2013）更紧，且在小偏差区域改进最为显著。
• 对于上尾，新界在所有 $\epsilon < 0.045$ 时均优于当前最先进结果，表明其在学习理论中最相关范围内的性能显著提升。
• 补偿间隙 $|g(\epsilon)|$ 被证明有界于 $\sqrt{e} \cdot \exp\left(W_{-1}\left(\frac{-\epsilon}{2\sqrt{e}}\right)\right)$，在小 $\epsilon$ 时可忽略，从而合理化了最终界的整体紧致性。
• 最终界表示为 $\mathbb{P}(Y - \mathbb{E}[Y] \leq -\epsilon) \leq \exp(-c(\epsilon) \cdot n\epsilon)$，其中 $c(\epsilon)$ 依赖于 $\epsilon$，且在指数中实现 $\epsilon$ 的次线性依赖。
• 该方法通过先利用阈值化调节各项异质性，使得标准集中不等式（如伯恩斯坦）可直接应用于缺失质量。
• 界为分布无关，且在条件 $n \geq \lceil \gamma_\epsilon \rceil - 1$ 下成立，确保其在非渐近设置中的适用性。