[论文解读] Poisson Random Fields for Dynamic Feature Models

Valerio Perrone, Paul A. Jenkins+2 more|arXiv (Cornell University)|Nov 22, 2016

Bayesian Methods and Mixture Models被引用 19

一句话总结

本文提出了沃特-费雪印度茶几过程（WF-IBP），一种贝叶斯非参数模型，通过基于沃特-费雪扩散的泊松随机场对特征概率进行建模，将印度茶几过程扩展至时变数据。该模型实现了特征的连续时间演化，支持特征随时间出生与消亡，并通过一种新颖的马尔可夫链蒙特卡洛（MCMC）算法实现精确后验推断，已在合成数据和一个29年期的NIPS论文语料库上得到验证，显著提升了主题演化建模效果。

ABSTRACT

We present the Wright-Fisher Indian buffet process (WF-IBP), a probabilistic model for time-dependent data assumed to have been generated by an unknown number of latent features. This model is suitable as a prior in Bayesian nonparametric feature allocation models in which the features underlying the observed data exhibit a dependency structure over time. More specifically, we establish a new framework for generating dependent Indian buffet processes, where the Poisson random field model from population genetics is used as a way of constructing dependent beta processes. Inference in the model is complex, and we describe a sophisticated Markov Chain Monte Carlo algorithm for exact posterior simulation. We apply our construction to develop a nonparametric focused topic model for collections of time-stamped text documents and test it on the full corpus of NIPS papers published from 1987 to 2015.

研究动机与目标

• 开发一种非参数贝叶斯模型，以捕捉数据中特征数量未知且可能无界的时变特征依赖关系。
• 通过使用连续时间随机过程对特征流行度随时间的变化进行建模，将印度茶几过程扩展至动态设置。
• 利用群体遗传学中的泊松随机场框架，构建具有可解释生物学与概率特性的时变β过程。
• 通过一种新颖高效的MCMC算法，实现在动态特征分配中的精确后验推断。
• 将该模型应用于时间戳文本数据，特别针对随时间演变的主题流行度进行聚焦主题建模。

提出的方法

• 该模型使用基于沃特-费雪扩散的改进型泊松随机场（PRF）来控制特征概率的时间演化，支持特征随时间出生与消亡。
• 每个特征的激活概率通过一个时间齐次的扩散过程独立演化，其漂移和扩散系数源自群体遗传学。
• 由此产生的随机过程定义了一个时变β过程，其在任一固定时间点的边缘分布可恢复为两参数印度茶几过程。
• 开发了一种新颖的马尔可夫链蒙特卡洛（MCMC）算法用于精确后验模拟，包括主题分配、特征指示变量和主题-词参数的完整条件分布。
• 该模型与线性高斯似然结合用于合成数据评估，并应用于时间戳文档的非参数聚焦主题模型。
• 吉布斯采样器使用共轭先验，并通过狄利克雷-多项式分布与负二项分布的共轭性推导出完整条件分布，从而实现对主题分配和特征存在性的高效采样。

实验结果

研究问题

• RQ1 如何构建一种非参数贝叶斯模型，以支持特征集无界情况下的时变特征分配？
• RQ2 能否将群体遗传学中的泊松随机场模型适配为生成具有连续时间动态的依赖型印度茶几过程？
• RQ3 使用沃特-费雪扩散对动态特征分配中的特征出生与死亡进行建模，其含义是什么？
• RQ4 在具有复杂依赖结构的时变非参数模型中，如何实现精确后验推断？
• RQ5 与静态模型或HDP基模型相比，所提出的模型在长期文档集合中对主题演化的建模能力提升程度如何？

主要发现

• WF-IBP模型成功捕捉了特征随时间的动态演化，特征概率通过连续时间、马尔可夫性且可交换的过程演化。
• 该模型在任一固定时间点的边缘分布可恢复为两参数印度茶几过程，确保与静态非参数模型的一致性。
• MCMC算法实现了精确后验模拟，完整条件分布基于共轭先验推导，并实现了对主题分配和特征指示变量的高效采样。
• 在合成数据上，模型能准确恢复真实的时间演化特征结构，表现出正确的推断与收敛性。
• 在NIPS语料库（1987–2015）上，模型识别出有意义的主题演化模式，包括研究主题的兴起与衰退，其可解释性优于静态或HDP基模型。
• 该模型消除了主题流行度与文档中词比例之间的耦合关系，这是如层次狄利克雷过程等模型中的一个关键局限。