[论文解读] Poisson-Randomized Gamma Dynamical Systems

Aaron Schein, Scott W. Linderman+3 more|arXiv (Cornell University)|Oct 28, 2019

Bayesian Methods and Mixture Models被引用 13

一句话总结

本文提出泊松-随机伽马动态系统（Poisson-Randomized Gamma Dynamical System, PRGDS），一种适用于顺序观测计数张量的可 tractable 贝叶斯模型，通过交替的离散泊松与连续伽马潜在状态链，实现闭式推断。其主要贡献是一种稀疏变体 PRGDS，允许伽马状态精确为零，该模型在平滑与预测任务中持续优于其他模型，并能唯一地从真实世界数据（如文本、国际事件与神经元放电序列）中推断出爆发性、时间局部化的潜在结构。

ABSTRACT

This paper presents the Poisson-randomized gamma dynamical system (PRGDS), a model for sequentially observed count tensors that encodes a strong inductive bias toward sparsity and burstiness. The PRGDS is based on a new motif in Bayesian latent variable modeling, an alternating chain of discrete Poisson and continuous gamma latent states that is analytically convenient and computationally tractable. This motif yields closed-form complete conditionals for all variables by way of the Bessel distribution and a novel discrete distribution that we call the shifted confluent hypergeometric distribution. We draw connections to closely related models and compare the PRGDS to these models in studies of real-world count data sets of text, international events, and neural spike trains. We find that a sparse variant of the PRGDS, which allows the continuous gamma latent states to take values of exactly zero, often obtains better predictive performance than other models and is uniquely capable of inferring latent structures that are highly localized in time.

研究动机与目标

• 为解决现有可 tractable 模型在捕捉顺序观测计数张量中复杂爆发性时间动态方面的不足。
• 开发一种贝叶斯潜在变量模型，对计数数据施加强烈的稀疏性与爆发性归纳偏置。
• 通过引入一种新型建模范式，克服现有泊松-伽马状态空间模型中非共轭链的不可行性。
• 在保持复杂依赖结构表达能力的同时，实现对高维稀疏计数张量的高效可扩展推断。
• 在真实世界数据上评估模型性能，并展示其独特推断高度时间局部化爆发性潜在成分的能力。

提出的方法

• 提出一种离散泊松与连续伽马潜在状态交替链作为新型建模范式，以打破状态空间模型中的不可行依赖。
• 利用贝塞尔分布与一种新型离散分布——移位合流超几何（shifted confluent hypergeometric, SCH）分布，推导出所有变量的闭式完整条件分布。
• 提出 PRGDS 的稀疏变体，其中伽马状态可精确取零值，从而编码强烈的稀疏性与爆发性归纳偏置。
• 采用具有解析更新的变分推断，以实现对大规模稀疏计数张量的高效后验计算。
• 使用匈牙利算法对不同模型间的组件进行对齐，以实现推断潜在结构的定性比较。
• 将模型应用于真实世界数据集，包括文本、国际事件数据与神经元放电序列，以评估性能。

实验结果

研究问题

• RQ1 能否在计数张量的贝叶斯状态空间模型中，同时实现计算可 tractable 性与复杂时间动态的表达能力？
• RQ2 在伽马状态之间引入离散泊松潜在状态，是否能实现原本不可行模型的闭式推断？
• RQ3 PRGDS 的稀疏变体是否能比非稀疏变体更好地捕捉爆发性、时间局部化的潜在结构？
• RQ4 在真实世界计数数据上，PRGDS 与 PGDS 及其他基线模型在平滑与预测性能上的表现如何？
• RQ5 PRGDS 是否具备唯一推断高度时间局部化潜在成分的能力，特别是在神经与事件数据中？

主要发现

• 在全部 16 项研究中，PRGDS 的稀疏变体在平滑与预测任务中均持续优于非稀疏变体。
• 在八项平滑研究中的五项中，稀疏 PRGDS 的信息增益高于 PGDS；其余三项中性能相当。
• 在八项预测研究中的四项中，PGDS 表现优于 PRGDS；其余四项中性能相当。
• 稀疏 PRGDS 唯一地推断出爆发性、高度时间局部化的潜在结构，例如神经元放电序列中的短时程成分与国际事件中的瞬时联盟。
• 稀疏变体中伽马状态的边缘期望与 PGDS 一致，避免了随预测时域增长的加性项，这可能解释其更优的预测性能。
• 定性分析确认，稀疏 PRGDS 推断出的潜在成分是 PGDS 或其他基线模型未能捕捉到的，尤其是那些在短暂高强度活动中活跃的成分。