[论文解读] On a new limit theorem in probability theory (Translation of 'Sur un nouveau théorème-limite de la théorie des probabilités')

Harald Cramér, Hugo Touchette|arXiv (Cornell University)|Feb 16, 2018

Stochastic processes and statistical mechanics参考文献 1被引用 7

一句话总结

这篇1938年的开创性论文由哈拉尔德·克拉默（Harald Cramér）首次在概率论中建立了严格的大型偏差原理，推导出独立同分布随机变量和的尾部概率的渐近指数衰减率。通过应用埃舍尔变换（Esscher transform）倾斜测度并分析矩生成函数，克拉默建立了基于累积量生成函数导出的速率函数的大型偏差原理，为现代统计学、统计物理和信息论中的大型偏差理论奠定了基础。

ABSTRACT

This is a translation of Harald Cramér's article, 'On a new limit theorem in probability theory', published in French in 1938 and deriving what is considered by mathematicians to be the first large deviation result. My hope is that this translation will help disseminate this historically important work, 80 years after its publication.

研究动机与目标

• 解决中心极限定理在估计独立同分布随机变量和的罕见尾部事件时的局限性。
• 开发一种方法，用于估计大偏差的渐近衰减率——即波动量级为 $ n $，而非 $ \sqrt{n} $——在概率分布中的表现。
• 为独立随机变量和的尾部概率提供一个严格的渐近展开式，且在 $ n \to \infty $ 时成立。
• 引入一种变换（后被称为克拉默变换），使大偏差概率的精确渐近分析成为可能。
• 确立大型偏差原理成立的条件，特别是关于矩生成函数在零点邻域内存在的克拉默条件。

提出的方法

• 该论文采用埃舍尔变换（或指数倾斜）改变概率测度，使大偏差概率的分析可通过加权期望进行。
• 推导出生存函数 $ 1 - F(x,t) $ 与一个涉及倾斜分布和指数因子 $ R^t e^{-h \bar{m} t} $ 的积分之间的恒等式，其中 $ R $ 是增量分布的矩生成函数。
• 该方法依赖于矩生成函数的解析延拓，以及利用拉普拉斯方法近似积分的渐近行为。
• 克拉默引入了累积量生成函数的概念，并利用其勒让德变换定义速率函数，该函数控制尾部概率的指数衰减。
• 分析在离散时间和连续时间两种设定下进行，离散情形涉及 $ n $ 个独立同分布变量的求和，连续情形则使用时间参数 $ t $。
• 关键技术步骤是证明：在克拉默条件（矩生成函数在零点邻域内存在）下，尾部概率以 $ \exp(-n I(x)) $ 的形式指数衰减，其中 $ I(x) $ 为速率函数。

实验结果

研究问题

• RQ1 如何严格估计 $ n $ 个独立同分布随机变量和偏离其均值量级为 $ n $ 而非 $ \sqrt{n} $ 的尾部概率？
• RQ2 对单个随机变量分布施加何种条件，可确保尾部概率随 $ n $ 指数衰减？
• RQ3 能否构造一种变换，通过重新加权测度使大偏差成为典型事件，从而实现渐近分析？
• RQ4 在大偏差区域中，尾部概率的渐近展开式的精确形式是什么？
• RQ5 尾部概率的衰减速率与底层分布的累积量生成函数有何关系？

主要发现

• 该论文首次建立了大型偏差原理：尾部概率 $ \mathbb{P}(S_n > nx) $ 以 $ \exp(-n I(x)) $ 的形式指数衰减，其中 $ I(x) $ 是通过累积量生成函数的勒让德变换定义的速率函数。
• 速率函数 $ I(x) $ 由累积量生成函数 $ \Lambda(h) = \log \mathbb{E}[e^{hX}] $ 的勒让德变换给出，且仅当 $ x $ 落在和的可能均值范围内时为有限值。
• 在克拉默条件（矩生成函数在零点邻域内存在）下，生存函数的渐近展开主要由指数项 $ R^n e^{-h \bar{m} n} $ 主导，其中 $ R $ 为矩生成函数，$ h $ 的选择满足 $ \mathbb{E}[X e^{hX}] = \bar{m} $。
• 论文表明，大偏差概率渐近等价于 $ R^n e^{-h \bar{m} n} \int_0^\infty e^{-h \bar{\sigma} \sqrt{n} y} d\bar{F}(y,n) $，该形式与离散情形类似，并证实了指数衰减。
• 速率函数 $ I(x) $ 严格凸，且在均值处取得最小值，满足 $ I(\mu) = 0 $，当 $ x $ 远离均值时迅速增加。
• 该方法为独立同分布随机变量和中罕见事件的衰减率提供了系统计算方法，在精算科学、排队论和统计物理中有广泛应用。