[论文解读] On the expected number of different records in a random sample

Marco Ferrante, Nadia Frigo|arXiv (Cornell University)|Sep 20, 2012

Bayesian Methods and Mixture Models参考文献 3被引用 10

一句话总结

本文推导了从离散分布中观察到 k 个不同记录所需的独立同分布抽样次数的期望值，重点研究曼德尔布罗特分布。文章给出了期望 E[Xₘ(k)] 的精确公式，并基于赫普斯定律的渐近结果提出了一种计算上可行的近似方法，该方法在 k ≪ m^{θ−1} 时与模拟结果高度一致。

ABSTRACT

Given a discrete distribution, an interesting problem is to determine the minimum size of a random sample drawn from this distribution, in order to observe a given number of different records. This problem is related with many applied problems, like the Heaps' Law in linguistics and the classical Coupon-collector's problem. In this note we are able to compute theoretically the expected size of such a sample and we provide an approximation strategy in the case of the Mandelbrot distribution.

研究动机与目标

• 计算从已知概率的离散分布中观察到 k 个不同记录所需的抽样次数的期望值，特别关注曼德尔布罗特分布。
• 解决优惠券收集问题的一个变体，目标是收集 k 种不同类型而非全部 m 种类型。
• 当 m 较大时精确计算变得不可行，为此开发 E[Xₘ(k)] 的实用近似方法。
• 通过模拟和赫普斯定律的渐近结果验证该近似方法。
• 在曼德尔布罗特模型下，建立 E[Rₘ(n)] 与 E[Xₘ(k)] 之间的函数反向关系。

提出的方法

• 将 E[Xₘ(k)] 的精确公式推导为几何分布等待时间之和 X₁ + ⋯ + Xₖ，其中 Xᵢ 表示获得第 i 个新记录所需的抽样次数。
• 使用指示变量和容斥原理，通过等待时间分布的生存函数表达 E[Xₘ(k)]。
• 应用 van Leijenhorst 和 van der Weide (2004) 的渐近结果：E[Rₘ(n)] ∼ αn^β，其中 β = θ⁻¹，α = a_∞^βΓ(1−β)，a_∞ 为无限支撑曼德尔布罗特分布的归一化常数。
• 提出反向近似 E[Xₘ(k)] ∼ (k/α)^θ，适用于 k ≪ τ 的情形，其中 τ ≈ m^{θ−1}。
• 在 R 中进行数值计算，针对小 m 和 k ≤ 8 的情况验证精确公式。
• 对较大的 m 进行蒙特卡洛模拟，以估计 E[Xₘ(k)] 并与所提出的近似方法进行比较。

实验结果

研究问题

• RQ1 从具有已知概率的离散分布中观察到 k 个不同记录，所需的抽样次数的精确期望值是多少？
• RQ2 在曼德尔布罗特分布下，E[Xₘ(k)] 的行为如何，特别是在小 k 和中等 m 的情况下？
• RQ3 是否可以利用 E[Rₘ(n)] 与 E[Xₘ(k)] 之间的反向关系，推导出 E[Xₘ(k)] 的可计算近似？
• RQ4 所提出的近似 E[Xₘ(k)] ∼ (k/α)^θ 的有效范围是什么？
• RQ5 当 k ≪ m^{θ−1} 时，该近似与 E[Xₘ(k)] 的模拟值匹配程度如何？

主要发现

• 精确期望 E[Xₘ(k)] 计算复杂，仅在小 k（≤ 8）和小 m 时可行，如 R 实现所示。
• 当 m = 10 且 k = 8 时，期望抽样次数约为 43.66，此时样本中不同词的数量期望为 7.74。
• 当 m = 100 且 k < 90 时，E[Rₘ(n)] 与 E[Xₘ(k)] 之间的反向关系表现良好，但当 k 接近 m 时开始发散。
• 当 m = 500 且 k ≤ 25 时，所提出的近似 E[Xₘ(k)] ∼ (k/α)^θ 与模拟值高度一致。
• 该近似在 k ≪ m^{θ−1} 的范围内有效，τ ≈ m^{θ−1} 标识了其适用范围的边界。
• 对于 c = 0.30 且 θ = 1.75，由无穷级数归一化常数 a_∞ 推导出的渐近参数 α ≈ 0.558。