[论文解读] New results on a generalized coupon collector problem using Markov chains

Emmanuelle Anceaume, Yann Busnel+1 more|Feb 21, 2014

Bayesian Methods and Mixture Models被引用 5

一句话总结

该论文研究了一个包含空券的广义优惠券收集问题，使用马尔可夫链推导从 n 种类型中收集 c 种不同优惠券所需时间的分布和矩，其中优惠券以任意概率抽取。论文证明几乎均匀分布使期望收集时间最小化，并推测对于任意 c ≤ n，该分布也使等待时间的尾部分布最小化。

ABSTRACT

We study in this paper a generalized coupon collector problem, which consists in determining the distribution and the moments of the time needed to collect a given number of distinct coupons that are drawn from a set of coupons with an arbitrary probability distribution. We suppose that a special coupon called the null coupon can be drawn but never belongs to any collection. In this context, we obtain expressions of the distribution and the moments of this time. We also prove that the almost-uniform distribution, for which all the non-null coupons have the same drawing probability, is the distribution which minimizes the expected time to get a fixed subset of distinct coupons. This optimization result is extended to the complementary distribution of that time when the full collection is considered, proving by the way this well-known conjecture. Finally, we propose a new conjecture which expresses the fact that the almost-uniform distribution should minimize the complementary distribution of the time needed to get any fixed number of distinct coupons.

研究动机与目标

• 分析从 n 种类型中收集 c 种不同优惠券的等待时间 T_{c,n} 的分布和矩，包括以概率 p₀ 抽取空券的情况。
• 在任意非均匀优惠券抽取概率下，确定 T_{c,n} 的概率分布。
• 识别使收集 c 种不同优惠券的期望等待时间 E[T_{c,n}] 最小化的概率分布。
• 研究几乎均匀分布是否对所有 k 最小化互补分布 P(T_{c,n} > k)，并扩展已知的 c=1 和 c=n 的结果。
• 将结果应用于网络监控，特别是通过分布式流监控检测 DDoS 攻击，识别 c 个最频繁的流。

提出的方法

• 将收集过程建模为一个离散时间马尔可夫链，其状态空间为 S_n = {J ⊆ {1,…,n}}，其中状态表示已收集优惠券的集合。
• 根据抽取新优惠券 ℓ 的概率（若 H = J ∪ {ℓ}）或空券的概率（若 H = J）定义转移概率 Q_{J,H}，其余情况 Q_{J,H} = 0。
• 利用马尔可夫性质和首次通过时间分析，推导 T_{c,n} = inf{m ≥ 0 : X_m ∈ S_{c,n}} 的分布。
• 应用从马尔可夫链结构导出的组合恒等式，将 P(T_{c,n} > k) 表示为部分收集概率的和。
• 使用詹森不等式和凸性论证比较不同分布下的尾部概率，特别是针对 c=2 的情况。
• 分析函数 F_{n,k}(x) 的导数，证明其单调性，并建立 P(T_{c,n}(v) > k) ≥ P(T_{c,n}(u) > k) 的关系，其中 v 为几乎均匀分布，u 为均匀分布。

实验结果

研究问题

• RQ1 当以任意概率（包括空券）抽取优惠券时，收集 c 种不同优惠券的等待时间 T_{c,n} 的精确分布是什么？
• RQ2 在 n 个非空优惠券上，哪种概率分布使期望等待时间 E[T_{c,n}] 最小化？
• RQ3 对于所有 k ≥ 0 和所有 c ≤ n，几乎均匀分布是否是最小化互补分布 P(T_{c,n} > k) 的分布？
• RQ4 不同分布下 T_{c,n} 的尾部分布行为如何比较，特别是针对 c=2 的情况？
• RQ5 理论结果能否应用于改进基于流频率聚合的分布式 DDoS 攻击监测系统中的检测性能？

主要发现

• 通过状态空间为 S_n 的马尔可夫链模型，推导出 T_{c,n} 的分布，其中状态表示已收集优惠券的子集。
• 当非空优惠券以几乎均匀概率抽取时，即 v_i = (1 - p₀)/n，期望等待时间 E[T_{c,n}(p)] 达到最小。
• 当 c = n 时，几乎均匀分布和均匀分布均使互补分布 P(T_{n,n} > k) 最小化，证实了一个长期存在的猜想。
• 当 c = 2 时，对所有 k ≥ 0，不等式 P(T_{2,n}(p) > k) ≥ P(T_{2,n}(v) > k) ≥ P(T_{2,n}(u) > k) 成立，该结论通过詹森不等式和 F_{n,k}(x) 的单调性得到证明。
• 几乎均匀分布对所有 c 和 n 均使 E[T_{c,n}(p)] 最小化，本文推测其同样使完整的尾部分布最小化。
• 将结果应用于 DDoS 检测，其中最小化 E[T_{c,n}] 可确保高效地将 c 个最频繁的网络流报告给中心服务器。