[论文解读] Negative Binomial Construction of Random Discrete Distributions on the Infinite Simplex

Yuguang Ipsen, Ross Maller|arXiv (Cornell University)|Feb 7, 2018

Bayesian Methods and Mixture Models参考文献 14被引用 8

一句话总结

本文通过用参数 $ r>0 $ 的负二项点过程和 Lévy 密度 $ \rho $ 替代经典 Poisson-Kingman 框架中的泊松点过程，引入了一类新的无限单纯形上的随机离散分布，记为 $ \mathbf{PK}^{(r)}(\rho) $。主要贡献在于：该框架推广了两参数的 Poisson-Dirichlet 分布 $ \mathbf{PD}(\alpha,\theta) $（其中 $ \theta>0 $），扩展了截断稳定子族框架，并为归一化跳跃提供了杆-breaking 表示及极限分布，从而增强了对重尾或异常值敏感数据的建模能力。

ABSTRACT

The Poisson-Kingman distributions, $\mathrm{PK}(ρ)$, on the infinite simplex, can be constructed from a Poisson point process having intensity density $ρ$ or by taking the ranked jumps up till a specified time of a subordinator with Lévy density $ρ$, as proportions of the subordinator. As a natural extension, we replace the Poisson point process with a negative binomial point process having parameter $r>0$ and Lévy density $ρ$, thereby defining a new class $\mathrm{PK}^{(r)}(ρ)$ of distributions on the infinite simplex. The new class contains the two-parameter generalisation $\mathrm{PD}(α, θ)$ of Pitman and Yor (1997) when $θ>0$. It also contains a class of distributions derived from the trimmed stable subordinator. We derive properties of the new distributions, with particular reference to the two most well-known $\mathrm{PK}$ distributions: the Poisson-Dirichlet distribution $\mathrm{PK}(ρ_θ)$ generated by a Gamma process with Lévy density $ρ_θ(x) = θe^{-x}/x$, $x>0$, $θ> 0$, and the random discrete distribution, $\mathrm{PD}(α,0)$, derived from an $α$-stable subordinator.

研究动机与目标

• 通过用参数 $ r>0 $ 的负二项点过程替代经典 Poisson-Kingman 框架中的泊松点过程，将无限单纯形上随机离散分布的 Poisson-Kingman 框架进行推广。
• 通过引入额外参数 $ r>0 $，解决数据过度离散的问题，推广现有分布如 $ \mathbf{PD}(\alpha,\theta) $ 和 $ \mathbf{PD}_{\alpha}^{(r)} $。
• 为新类 $ \mathbf{PK}^{(r)}(\rho) $ 的归一化跳跃推导杆-breaking 表示及极限分布，从而更好地建模具有重尾或异常值特征的真实世界数据。
• 通过引入灵活的 $ r $-参数扩展，改进 $ \mathbf{PD}(\alpha,\theta) $ 中参数 $ \theta $ 的统计估计，以解决其最大似然估计量不一致的问题。

提出的方法

• 通过使用参数 $ r>0 $ 的负二项点过程和 Lévy 密度 $ \rho $，构建新类 $ \mathbf{PK}^{(r)}(\rho) $，替代经典 Poisson-Kingman 构造中的标准泊松过程。
• 将点过程的归一化跳跃大小 $ \mathbf{V}^{(r)} = (V_1^{(r)}, V_2^{(r)}, \ldots) $ 定义为跳跃值按大小排序后除以其总和，形成在无限单纯形上的分布。
• 通过将归一化跳跃与由连续跳跃比值导出的 Beta 分布随机变量序列关联，为 $ \mathbf{PK}^{(r)}(\rho) $ 建立杆-breaking 表示。
• 利用 Lévy 过程的指数泛函的测度变换技术，推导出归一化向量 $ \mathbf{V}^{(r)} $ 的分布，其表达式以原始 $ \mathbf{V} $ 和泛函 $ \mathfrak{E}_1 = \Lambda(\Delta_1, \infty) $ 表示。
• 证明极限 $ \lim_{n\to\infty} n V_n^{(r)\alpha} / V_1^{(r)\alpha} $ 几乎必然且在 $ p $ 阶矩意义下收敛于 $ \mathfrak{E}_1 / V_1^{(r)\alpha} $，从而将尾部行为与 Lévy 测度联系起来。
• 证明类 $ \mathbf{PK}^{(r)}(\rho) $ 包含 $ \mathbf{PD}(\alpha,\theta) $（当 $ \theta>0 $ 时）和截断稳定子族分布 $ \mathbf{PD}_{\alpha}^{(r)} $，从而推广了已知结果。

实验结果

研究问题

• RQ1 如何通过负二项点过程推广 Poisson-Kingman 框架，以适应过度离散的数据？
• RQ2 新类 $ \mathbf{PK}^{(r)}(\rho) $ 的归一化跳跃是否存在杆-breaking 表示？其与原始 Poisson-Kingman 框架有何关系？
• RQ3 归一化跳跃的尾部概率的极限行为如何？其在 Lévy 测度下的表征方式是什么？
• RQ4 新类 $ \mathbf{PK}^{(r)}(\rho) $ 与两参数 Poisson-Dirichlet 分布 $ \mathbf{PD}(\alpha,\theta) $ 及截断稳定子族分布 $ \mathbf{PD}_{\alpha}^{(r)} $ 有何关系？
• RQ5 额外参数 $ r>0 $ 是否能改善 $ \mathbf{PD}(\alpha,\theta) $ 中 $ \theta $ 的估计，尤其是在已知 $ \theta $ 的最大似然估计不一致的背景下？

主要发现

• 负二项点过程构造产生了一类新的无限单纯形上的随机离散分布 $ \mathbf{PK}^{(r)}(\rho) $，推广了经典的 Poisson-Kingman 框架。
• 类 $ \mathbf{PK}^{(r)}(\rho) $ 包含两参数 Poisson-Dirichlet 分布 $ \mathbf{PD}(\alpha,\theta) $（当 $ \theta>0 $ 时），从而扩展了其适用范围。
• 为 $ \mathbf{PK}^{(r)}(\rho) $ 推导出杆-breaking 表示，其中归一化跳跃可表示为 i.i.d. Beta 分布变量的乘积，推广了标准 $ \mathbf{PD}(\alpha,\theta) $ 的杆-breaking 结构。
• 极限 $ \lim_{n\to\infty} n V_n^{\alpha} / V_1^{\alpha} $ 几乎必然且在 $ p $ 阶矩意义下收敛于 $ \mathfrak{E}_1 / V_1^{\alpha} $，其中 $ \mathfrak{E}_1 = \Lambda(\Delta_1, \infty) $，提供了尾部行为的表征。
• 类 $ \mathbf{PK}^{(r)}(\rho) $ 包含截断稳定子族分布 $ \mathbf{PD}_{\alpha}^{(r)} $，建立了负二项点过程与稳定子族之间的联系。
• 该框架为 Poisson-Kingman 模型提供了灵活的替代方案，尤其适用于建模具有异常值或过度离散特征的数据，如词频或资本化分布。