[论文解读] Poisson--Gamma Dynamical Systems

Aaron Schein, Mingyuan Zhou+1 more|arXiv (Cornell University)|Jan 19, 2017

Bayesian Methods and Mixture Models被引用 29

一句话总结

该论文提出了泊松-伽玛动态系统（PGDS），一种用于顺序观测的多变量计数数据的贝叶斯非参数模型，通过伽玛-泊松层次结构对过度分散、稀疏且具有突发性的计数向量进行建模。该模型采用高效的马尔可夫链蒙特卡洛（MCMC）推理算法并结合数据增强技术，能够在高维稀疏数据上实现可扩展的推理，同时捕捉复杂的时序依赖关系，并生成具有优异预测性能的高可解释性潜在结构。

ABSTRACT

We introduce a new dynamical system for sequentially observed multivariate count data. This model is based on the gamma--Poisson construction---a natural choice for count data---and relies on a novel Bayesian nonparametric prior that ties and shrinks the model parameters, thus avoiding overfitting. We present an efficient MCMC inference algorithm that advances recent work on augmentation schemes for inference in negative binomial models. Finally, we demonstrate the model's inductive bias using a variety of real-world data sets, showing that it exhibits superior predictive performance over other models and infers highly interpretable latent structure.

研究动机与目标

• 为解决现有模型在处理高维、稀疏且过度分散的顺序计数数据方面的局限性。
• 开发一种能够捕捉现实世界计数数据中常见复杂时序依赖关系和突发性活动模式的动态系统。
• 通过一种新颖的贝叶斯非参数先验实现自动秩推断，从而压缩模型参数并防止过拟合。
• 设计一种高效的MCMC推理算法，其计算复杂度依赖于非零计数的数量而非完整数据维度，从而利用稀疏性优势。

提出的方法

• 将每个计数 $ y_v^{(t)} $ 建模为泊松分布的随机变量，其发生率 $ \delta^{(t)} \sum_{k=1}^K \phi_{vk} \theta_k^{(t)} $，其中 $ \theta_k^{(t)} $ 服从伽玛分布。
• 采用伽玛-泊松层次结构，自然地建模过度分散性，并通过数据增强实现共轭推理。
• 在转移矩阵 $ \Pi $ 上引入一种新颖的贝叶斯非参数先验，实现对潜在空间有效秩的自动推断。
• 基于负二项分布模型的增强方案，开发一种高效的MCMC算法，其计算复杂度与非零计数数量成正比，而非完整维度。
• 利用Lambert W函数推导系统的稳态行为，为潜在动态的长期行为提供理论洞察。
• 通过 $ V \times K $ 的特征因子矩阵 $ \Phi $ 和 $ T \times K $ 的时间步因子矩阵 $ \Theta $ 表示潜在结构，其中 $ \Psi = \delta \odot \Theta $ 综合了缩放因子与时间动态。

实验结果

研究问题

• RQ1 基于伽玛-泊松构造的动态系统是否能有效建模高维、稀疏且过度分散的顺序计数数据，同时保持计算效率？
• RQ2 如何设计一种贝叶斯非参数先验，以实现对潜在秩的自动推断并防止此类模型中的过拟合？
• RQ3 PGDS在真实世界计数数据的平滑与预测任务中，相较于LDS和GP-DPFA等现有模型，性能提升程度如何？
• RQ4 推断出的潜在成分与转移结构在多大程度上能反映可解释的真实世界现象，如主题演化或地缘政治事件？

主要发现

• 在包括NIPS和GDELT在内的五个真实世界数据集上，PGDS在平滑与预测任务中均显著优于LDS和GP-DPFA，展现出更优的预测性能。
• 该模型成功推断出与已知历史趋势一致的可解释潜在成分，例如机器学习领域中神经网络研究的衰落与贝叶斯方法的兴起。
• 在GDELT数据集中，推断出的成分准确捕捉了重大地缘政治事件，如2003年伊拉克战争与六方会谈，其时间步因子在相关时期达到峰值。
• 推断出的转移矩阵显示，某些成分（如伊拉克战争与六方会谈）表现为吸引子，从其他成分转移至它们的概率较高，表明其在系统中具有持久影响力。
• MCMC推理算法在非零计数数量上具有高效可扩展性，适用于高维稀疏数据，且在大规模场景下仍保持计算可行性。
• PGDS的稳态分析揭示了涉及Lambert W函数的闭式解，为潜在动态的长期行为提供了理论基础。