[论文解读] Notes on the sum and maximum of independent exponentially distributed random variables with different scale parameters

Markus Bibinger|arXiv (Cornell University)|Jul 15, 2013

Statistical Distribution Estimation and Applications参考文献 3被引用 45

一句话总结

本文提供了对具有不同尺度参数的独立指数随机变量之和与最大值的概率密度函数（pdf）的直接、基于条件概率的推导。结果表明，卷积pdf是各个指数密度的线性组合，并建立了该形式与特征函数表示之间的联系，同时利用包含-排除原理推导出最大顺序统计量的精确pdf。

ABSTRACT

We consider the distribution of the sum and the maximum of a collection of independent exponentially distributed random variables. The focus is laid on the explicit form of the density functions (pdf) of non-i.i.d. sequences. Those are recovered in a simple and direct way based on conditioning. A connection between the pdf and a representation of the convolution characteristic function as a linear combination of the single characteristic functions is drawn. It is demonstrated how the results on the pdf of order statistics and the convolution merge.

研究动机与目标

• 提供具有不同尺度参数的独立指数随机变量之和的概率密度函数（pdf）的简单、直接推导。
• 展示如何通过条件概率与无 memory 性质简化卷积pdf的推导，而无需依赖复杂的变换。
• 建立卷积pdf的线性组合形式与特征函数表示之间的联系。
• 利用包含-排除原理与数学归纳法，推导出最大顺序统计量 $ M_N $ 的显式pdf。
• 统一处理非同分布指数随机变量背景下卷积与顺序统计量的理论框架。

提出的方法

• 通过条件概率，基于两个指数随机变量中哪一个更小进行划分，利用无 memory 性质。
• 应用初等微积分计算 $ N=2 $ 时的卷积密度 $ f_{S_2}(z) $，结果为各个密度的线性组合。
• 通过数学归纳法与包含-排除原理，将结果推广至一般 $ N>2 $。
• 通过对其生存函数 $ \mathbb{P}(M_N > z) $ 求导，推导出最大值 $ M_N $ 的pdf，其中生存函数通过包含-排除原理表示为所有子集的和。
• 通过证明卷积pdf可表示为各个特征函数的线性组合，建立其与特征函数之间的联系。
• 利用 Renyi 的顺序统计量表示，将顺序统计量的结构与卷积形式联系起来。

实验结果

研究问题

• RQ1 如何仅通过基本的随机条件概率，推导出具有不同尺度参数的独立指数随机变量之和的概率密度函数？
• RQ2 具有不同速率的 $ N $ 个独立指数随机变量的最大值的概率密度函数的显式形式是什么？
• RQ3 非独立同分布指数随机变量的卷积与特征函数表示之间有何关系？即，卷积是否可表示为各个特征函数的线性组合？
• RQ4 顺序统计量与指数随机变量卷积的分布之间在结构上存在何种相似性？
• RQ5 当两个速率参数趋于相等时，卷积密度会发生什么变化？其极限是否收敛于形状为2、速率参数为 $ \lambda_1 $ 的伽马分布？

主要发现

• 具有不同速率 $ \lambda_n $ 的 $ N $ 个独立指数随机变量之和 $ S_N $ 的pdf为 $ f_{S_N}(z) = \sum_{n=1}^N \left( \prod_{j \neq n} \frac{\lambda_j}{\lambda_j - \lambda_n} \right) \lambda_n e^{-\lambda_n z} $，即各个指数密度的线性组合。
• 当 $ N=2 $ 时，卷积密度简化为 $ f_{S_2}(z) = \frac{\lambda_2}{\lambda_2 - \lambda_1} f_1(z) + \frac{\lambda_1}{\lambda_1 - \lambda_2} f_2(z) $，由于系数为负，该形式并非混合分布。
• 最大值 $ M_N $ 的pdf通过包含-排除原理对生存函数进行展开，显式推导为 $ f_{M_N}(z) = \sum_{n=1}^N \lambda_n e^{-\lambda_n z} - \sum_{n<m} (\lambda_n + \lambda_m) e^{-(\lambda_n + \lambda_m)z} + \cdots + (-1)^{N+1} \left( \sum \lambda_n \right) e^{-(\sum \lambda_n) z} $。
• 当 $ \lambda_1 \to \lambda_2 $ 时，$ N=2 $ 情况下的卷积密度收敛于形状为2、速率参数为 $ \lambda_1 $ 的伽马分布，与独立同分布指数随机变量之和的极限行为一致。
• 和的特征函数可表示为各个特征函数的线性组合，其结构与pdf的线性组合形式一致。
• 结果表明，具有不同速率的独立指数随机变量之和与最大值的pdf均为指数密度的线性组合，揭示了卷积与顺序统计量之间在结构上的相似性。