[论文解读] Stick-breaking PG(\alpha,\zeta)-Generalized Gamma Processes

Lancelot F. James|arXiv (Cornell University)|Aug 29, 2013

Bayesian Methods and Mixture Models参考文献 56被引用 12

一句话总结

本文引入了扩展的泊松-狄利克雷广义伽马（EPG(𝛼,𝜁)）过程，这是一个统一的类别，扩展了两参数泊松-狄利克雷（PD(𝛼,𝜃)）和广义伽马（PG(𝛼,𝜁)）过程。它为整个参数范围 𝛼 ∈ [0,1) 和一般 𝜁 提供了首个显式且可处理的杆裂表示，从而在贝叶斯非参数统计和机器学习中开启了新模型的可能性。

ABSTRACT

This work centers around results related to Proposition 21 of Pitman and Yor's (1997) paper on the two parameter Poisson Dirichlet distribution indexed by (\\alpha,\ heta) for 0<\\alpha<1, also \\alpha=0, and \ heta>-\\alpha, denoted PD(\\alpha,\ heta). We develop explicit stick-breaking representations for a class that contains the PD(\\alpha,\ heta) for the range \ heta=0, and \ heta>0, we call PG(\\alpha,\\zeta). We also construct a larger class, EPG(\\alpha,\\zeta), containing the entire range. These classes are indexed by \\alpha, and an arbitrary non-negative random variable \\zeta. The bulk of this work focuses on investigating various properties of this larger class, EPG(\\alpha,\\zeta), which lead to connections to other work in the literature. In particular, we develop completely explicit stick-breaking representations for this entire class via size biased sampling as described in Perman, Pitman and Yor (1992). This represents the first case outside of the PD(\\alpha,\ heta) where one obtains explicit results for the entire range of \\alpha, the EPG are within the larger class of mass partitions generated by conditioning on the total mass of an \\alpha-stable subordinator. Furthermore Markov chains are derived which establish links between Markov chains derived from stick-breaking(insertion/deletion), as described in Perman, Pitman and Yor and Markov chains derived from successive usage of dual coagulation fragmentation operators described in Bertoin and Goldschmidt and Dong, Goldschmidt and Martin. Which have connections to certain types of fragmentation trees and coalescents appearing in the recent literature. Our results are also suggestive of new models and tools, for applications in Bayesian Nonparametrics/Machine Learning, where PD(\\alpha,\ heta) bridges are often referred to as Pitman-Yor processes.

研究动机与目标

• 将泊松-狄利克雷过程和广义伽马过程统一并推广为更广泛的类 EPG(𝛼,𝜁)，以提升建模灵活性。
• 为所有参数 𝛼 ∈ [0,1) 和一般非负随机变量 𝜁 开发一个可处理的杆裂表示。
• 建立杆裂、凝结-分裂动力学与可交换随机划分中马尔可夫链之间的联系。
• 确定在 𝜁 具有重尾时 EPG(𝛼,𝜁) 优于 PD(𝛼,𝜃) 的条件。
• 为贝叶斯非参数统计和机器学习中的新模型提供基础，尤其适用于幂律现象。

提出的方法

• 通过使用一般随机时间 𝜁（而非固定或伽马分布的时间）代替测度变换，将 PG(𝛼,𝜁) 扩展为 EPG(𝛼,𝜁) 过程。
• 利用一系列独立的 Beta(1−𝛼, 𝜃 + k𝛼) 分布的随机变量，推导出排序权重 (P_i) 的大小偏差采样表示。
• 通过将稳定下拉子过程的归一化跳跃与给定 Δ_1^−𝛼 = 𝜁 时比值 R_k = P_{k+1}/P_k 的条件分布相联系，建立 EPG(𝛼,𝜁) 的杆裂表示。
• 利用 (Δ_{k+1}/Δ_1) = ∏_{l=1}^k R_l 的联合分布，定义一个 Lévy 密度为 𝛼𝜁 u^{−𝛼−1}𝕀_{u≤1} 的子过程，从而构造一个乘法子过程。
• 从杆裂和对偶的凝结-分裂算子分别构造马尔可夫链，并通过碎片化过程中的对偶性将二者联系起来。
• 构造一个联合过程 (Q_{𝛼,𝜁}, Σ_{𝛼,𝜁})，其中 Σ_{𝛼,𝜁}(t) 是由泊松到达时间与杆裂权重导出的中性右过程。

实验结果

研究问题

• RQ1 能否为 PD(𝛼,𝜃) 过程在整个参数范围内（超越标准的 PD(0,𝜃) 和 PD(𝛼,0) 情况）推导出统一的杆裂表示？
• RQ2 如何利用具有任意随机时间 𝜁 的广义伽马下拉子过程，来构建更广泛的泊松-金曼模型类别？
• RQ3 杆裂过程与可交换随机划分中凝结-分裂动力学之间存在何种关系？
• RQ4 在哪些应用场景中，EPG(𝛼,𝜁) 模型严格优于 PD(𝛼,𝜃) 模型，特别是当 𝜁 具有重尾时？
• RQ5 EPG(𝛼,𝜁) 框架能否支持贝叶斯非参数统计和机器学习中的新构造，如印度餐厅过程或碎片化器？

主要发现

• 本文首次为由稳定下拉子过程生成的泊松-金曼模型提供了显式杆裂表示，适用于所有 𝛼 ∈ [0,1)，超越了 PD(𝛼,𝜃) 的情况。
• EPG(𝛼,𝜁) 类别在 𝜃 > −𝛼 的完整参数范围内包含 PD(𝛼,𝜃)，当 𝜁 固定时则包含 PG(𝛼,𝜁)，统一了多个已知过程。
• 建立了一个条件分布恒等式：(R_k) = (Δ_{k+1}/Δ_k | Δ_1^{−𝛼} = 𝜁) ∼ Beta(1−𝛼, 𝜃 + k𝛼)，将稳定下拉子过程的归一化跳跃与杆裂权重联系起来。
• 证明了过程 Σ_{𝛼,𝜁}(t) = ∑_{k=1}^∞ ∏_{l=1}^k R_l 𝕀_{𝜏_k ≤ t} 是一个乘法子过程，其 Lévy 密度为 𝛼𝜁 u^{−𝛼−1}𝕀_{u≤1}，并构成一个中性右过程。
• 从杆裂和从凝结-分裂算子导出的马尔可夫链被证明是对偶的，从而在可交换划分的这些动力学之间建立了新联系。
• 该框架表明，当 𝜁 具有重尾时，EPG(𝛼,𝜁) 优于 PD(𝛼,𝜃)，例如在语言建模中观察到幂律行为时，扩展了 Goldwater 等人（2009）的见解。