[论文解读] Size bias, sampling, the waiting time paradox, and infinite divisibility: when is the increment independent?

Richard Arratia, Larry Goldstein|arXiv (Cornell University)|Jul 22, 2010

Bayesian Methods and Mixture Models参考文献 12被引用 20

一句话总结

本文研究了在何种条件下，一个具有大小偏差分布 $X^*$ 的随机变量 $X$ 可以表示为 $X^* = X + Y$，其中 $Y \geq 0$ 且 $X$ 与 $Y$ 独立。研究证明，这种分解成立当且仅当 $X$ 是无限可分的，从而将大小偏差与更新理论、等待时间悖论以及数论分布（如 Dickman 函数和 Buchstab 函数）联系起来。

ABSTRACT

With $X^*$ denoting a random variable with the $X$-size bias distribution, what are all distributions for $X$ such that it is possible to have $X^*=X+Y$, $Y\geq 0$, with $X$ and $Y$ {\em independent}? We give the answer, due to Steutel \cite{steutel}, and also discuss the relations of size biasing to the waiting time paradox, renewal theory, sampling, tightness and uniform integrability, compound Poisson distributions, infinite divisibility, and the lognormal distributions.

研究动机与目标

• 确定所有非负随机变量 $X$ 的分布，使得 $X^* = X + Y$ 成立，其中 $Y \geq 0$ 且 $X$ 与 $Y$ 独立。
• 阐明大小偏差与泊松过程中等待时间悖论之间的联系。
• 研究大小偏差在抽样、更新理论和无限可分性中的作用。
• 刻画由大小偏差产生的分布，特别是与数论中 Dickman 函数和 Buchstab 函数相关的分布。
• 通过分解 $X^* = X + Y$ 统一大小偏差、复合泊松分布和无限可分性的概念。

提出的方法

• 使用大小偏差分布的定义：$\mathbb{E}[g(X^*)] = \frac{1}{\mathbb{E}[X]} \mathbb{E}[X g(X)]$，其中 $g$ 为有界连续函数。
• 应用变换 $dF_{X^*}(x) = \frac{x}{\mathbb{E}[X]} dF(x)$，从 $X$ 的分布推导出 $X^*$ 的密度。
• 通过指数到达时间间隔和记忆性与长度偏差采样之间的悖论分析等待时间悖论。
• 推导出在大小偏差下密度的微分-差分方程，特别是当 $Y$ 在 $(0,1)$ 或 $(\beta,1)$ 上服从均匀分布时的 $g_a(x)$ 情况。
• 证明 $X^* = X + Y$ 且 $X$ 与 $Y$ 独立、$Y \geq 0$ 成立当且仅当 $X$ 是无限可分的。
• 利用卷积幂和复合泊松构造，将 $X$ 与 Dickman 的 $\rho(u)$ 和 Buchstab 的 $\omega(u)$ 等数论函数联系起来。

实验结果

研究问题

• RQ1 对于哪些非负随机变量 $X$，存在一个独立的 $Y \geq 0$，使得 $X^* = X + Y$ 成立？
• RQ2 大小偏差如何解决泊松过程中等待时间悖论？
• RQ3 大小偏差与分布分解中无限可分性之间有何联系？
• RQ4 大小偏差下 $X$ 的密度如何与微分-差分方程及数论函数相关联？
• RQ5 大小偏差分布在线索具有异质群体规模的人群中抽样时起到什么作用？

主要发现

• 当且仅当 $X$ 是无限可分时，$X^* = X + Y$ 成立，其中 $X$ 与 $Y$ 独立且 $Y \geq 0$。
• 等待时间悖论的解决方法在于认识到：在区间内均匀分布的到达时间会导致到达间隔时间的长度偏差分布，而非记忆性期望。
• 当 $\mathbb{E}[X] = 1$ 时，大小偏差版本 $X^*$ 满足 $\mathbb{P}(X^* = k) = k \mathbb{P}(X = k)$，这解释了群体规模调查中的抽样偏差。
• 当 $Y \sim \text{Uniform}(0,1)$ 时，Dickman 函数 $\rho(u)$ 作为 $X$ 的密度出现，且对 $x > 0$ 满足 $\rho'(x) = -\rho(x-1)/x$，在 $[0,1]$ 上 $\rho(x) = 1$。
• Buchstab 函数 $\omega(u)$ 控制了随机整数的最小质因子的分布，当 $X$ 为复合泊松分布且 $\mathbb{P}(X=0) = \beta^t$ 时，有 $\mathbb{P}(a < X < b) = \int_a^b \omega(x/\beta) \, dx$。
• 当 $\mathbb{P}(X=0) > 0$（如 $\beta > 0$ 时），$X$ 的大小偏差分布导致缺陷密度，并与无小质因子的整数的渐近比例相关。