[论文解读] The Stick-Breaking Construction of the Beta Process as a Poisson Process

John Paisley, David M. Blei+1 more|arXiv (Cornell University)|Sep 2, 2011

Bayesian Methods and Mixture Models参考文献 11被引用 4

一句话总结

本文建立了狄拉克测度过程与贝塔过程之间严格的联系，通过其潜在的泊松过程表示，利用均值测度证明了等价性。通过利用泊松过程理论，推导出更紧致的截断误差界，并开发了更高效的马尔可夫链蒙特卡洛（MCMC）推理算法，从而实现了对变化浓度参数和无限基测度的推广。

ABSTRACT

We show that the stick-breaking construction of the beta process due to Paisley, et al. (2010) can be obtained from the characterization of the beta process as a Poisson process. Specifically, we show that the mean measure of the underlying Poisson process is equal to that of the beta process. We use this underlying representation to derive error bounds on truncated beta processes that are tighter than those in the literature. We also develop a new MCMC inference algorithm for beta processes, based in part on our new Poisson process construction.

研究动机与目标

• 正式建立贝塔过程的杆断构造与其潜在泊松过程表示之间的等价性。
• 推导出比文献中已知更紧致的截断贝塔过程的截断误差界。
• 利用泊松过程框架，为杆断贝塔过程开发一种新型、更高效的MCMC推理算法。
• 将杆断构造推广至浓度参数变化和基测度无限的情况，这些情况在先前推导中未被直接支持。

提出的方法

• 通过显式积分和级数运算，证明贝塔过程潜在泊松过程的均值测度与杆断构造的均值测度相等。
• 利用泊松过程框架重新推导杆断构造，借助泊松过程和Lévy测度的已知性质。
• 通过使用简单函数的极限和泊松期望近似生存概率，将泊松过程表示应用于截断误差的边界估计。
• 构建一种新的MCMC采样器，利用泊松过程结构高效地从杆断表示中采样，相较于先前方法在效率和鲁棒性方面均有提升。
• 通过扩展泊松过程表征，将杆断构造推广至允许浓度参数变化和基测度无限的情况。
• 在误差界推导中，使用Fubini定理和单调收敛定理，以证明极限与积分的交换合理性。

实验结果

研究问题

• RQ1 贝塔过程的杆断构造能否从其潜在泊松过程表示中严格推导出来？
• RQ2 截断贝塔过程的最紧致误差界是什么？能否通过泊松过程框架加以改进？
• RQ3 泊松过程表示能否用于开发更高效的杆断贝塔过程MCMC推理算法？
• RQ4 泊松过程框架是否自然地适用于浓度参数变化或基测度无限的贝塔过程？

主要发现

• 潜在泊松过程的均值测度被证明与贝塔过程的均值测度相等，确认了杆断构造与强度为 $\nu(d\theta,d\pi) = \alpha \pi^{-1}(1-\pi)^{\alpha-1} d\pi \mu(d\theta)$ 的泊松过程的等价性。
• 本文推导出的截断误差界比 Doshi-Velez 等人（2009）和 Paisley 等人（2011）的结果更紧致，误差衰减为 $\gamma \left(\frac{\alpha}{1+\alpha}\right)^R$，其中截断在 $R$ 个分量处。
• 新MCMC算法比 Paisley 等人（2010）的算法更高效，因为它避免了对浓度参数 $\gamma$ 的敏感性，并能更好地学习活跃因子的数量。
• 泊松过程框架使得杆断构造自然推广至浓度参数变化和基测度无限的情况，而这是原始极限矩阵方法无法直接推导出的。
• 该推导确认了杆断过程是贝塔过程的有效表示，因为其可由具有正确均值测度的泊松过程导出。
• 均值测度相等性的证明依赖于对无限个密度级数的求和，其简化结果为 $\alpha \pi^{-1}(1-\pi)^{\alpha-1}$，与已知的贝塔过程Lévy测度一致。