[论文解读] The continuum-of-urns scheme, generalized beta and Indian buffet processes, and hierarchies thereof

Daniel M. Roy|arXiv (Cornell University)|Dec 31, 2014

Bayesian Methods and Mixture Models参考文献 21被引用 9

一句话总结

本文提出了连续瓮模型（continuum-of-urns scheme），一种广义印度煎锅过程（Indian buffet process, IBP）的随机过程，通过可测的狄利克雷过程（Dirichlet processes）与皮尔曼–约尔过程（Pitman–Yor processes）族，对具有共享危险率测度的交换序列伯努利过程进行建模。该研究建立了一套针对连续黑威尔–麦克奎恩（Blackwell–MacQueen）瓮模型与两参数霍佩（Hoppe）瓮模型的预测规则，从而实现了三参数IBP的层级扩展，并构建了层级稳定贝塔过程的典范形式。

ABSTRACT

We describe the combinatorial stochastic process underlying a sequence of conditionally independent Bernoulli processes with a shared beta process hazard measure. As shown by Thibaux and Jordan [TJ07], in the special case when the underlying beta process has a constant concentration function and a finite and nonatomic mean, the combinatorial structure is that of the Indian buffet process (IBP) introduced by Griffiths and Ghahramani [GG05]. By reinterpreting the beta process introduced by Hjort [Hjo90] as a measurable family of Dirichlet processes, we obtain a simple predictive rule for the general case, which can be thought of as a continuum of Blackwell-MacQueen urn schemes (or equivalently, one-parameter Hoppe urn schemes). The corresponding measurable family of Perman-Pitman-Yor processes leads to a continuum of two-parameter Hoppe urn schemes, whose ordinary component is the three-parameter IBP introduced by Teh and Görür [TG09], which exhibits power-law behavior, as further studied by Broderick, Jordan, and Pitman [BJP12]. The idea extends to arbitrary measurable families of exchangeable partition probability functions and gives rise to generalizations of the beta process with matching buffet processes. Finally, in the same way that hierarchies of Dirichlet processes were given Chinese restaurant franchise representations by Teh, Jordan, Beal, and Blei [Teh+06], one can construct representations of sequences of Bernoulli processes directed by hierarchies of beta processes (and their generalizations) using the stochastic process we uncover.

研究动机与目标

• 开发一个统一的随机过程框架，用于建模具有共享危险率测度的交换序列伯努利过程。
• 通过将贝塔过程重新解释为可测的狄利克雷过程族，解决贝塔过程层级结构缺乏瓮模型的问题。
• 将印度煎锅过程广义化为连续的两参数霍佩瓮模型，以支持幂律行为与层级扩展。
• 为贝塔过程层级结构的中式餐馆特许经营式表示提供理论基础。
• 建立离散瓮模型在危险率测度强收敛条件下的极限收敛性。

提出的方法

• 通过将贝塔过程重新解释为可测的狄利克雷过程族，推导出连续黑威尔–麦克奎恩瓮模型的预测规则。
• 利用可交换划分概率函数（EPPFs）对随机集合与特征分配的组合结构进行建模。
• 将皮尔曼–约尔过程作为随机测度的可测族，用于生成连续的两参数霍佩瓮模型。
• 采用具有独立增量的完全随机测度来建模危险率测度，以确保伯努利过程的条件独立性。
• 通过泊松过程与强度测度的收敛性，建立离散瓮模型向连续极限的弱收敛性。
• 利用转移论证与卡伦伯格（Kallenberg）的随机测度框架，证明该模型的分布收敛性。

实验结果

研究问题

• RQ1 如何构建一个连续瓮模型，以将印度煎锅过程广义化至单参数情形之外？
• RQ2 对于具有共享贝塔过程危险率测度的条件独立伯努利过程序列，其预测分布为何？
• RQ3 如何通过皮尔曼–约尔过程的可测族定义印度煎锅过程的层级扩展？
• RQ4 在何种条件下，离散瓮模型可收敛至连续瓮模型？
• RQ5 能否从两参数霍佩瓮模型中导出层级稳定贝塔过程的典范定义？

主要发现

• 连续瓮模型为由可测狄利克雷过程族引导的交换序列伯努利过程提供了预测规则。
• 该模型将印度煎锅过程广义化为连续的单参数与两参数霍佩瓮模型，三参数IBP为其特例。
• 在危险率测度强收敛的条件下，离散模型的极限分布依分布收敛于连续瓮模型，该结论通过泊松过程强度收敛性得以证明。
• 该框架支持通过皮尔曼–约尔过程的可测族，实现层级稳定贝塔过程的典范构造。
• 该方法可实现贝塔过程层级结构的中式餐馆特许经营模式表示，扩展了以往关于狄利克雷过程层级结构的研究。
• 在弱收敛条件下，该证明不成立，反例表明危险率测度的弱收敛并不蕴含诱导点过程的收敛。