[论文解读] Nonparametric Bayesian Factor Analysis for Dynamic Count Matrices

Ayan Acharya, Joydeep Ghosh+1 more|arXiv (Cornell University)|Dec 30, 2015

Bayesian Methods and Mixture Models参考文献 35被引用 27

一句话总结

该论文提出了一种非参数贝叶斯因子分析模型，用于动态计数矩阵和二值矩阵，采用一种新颖的伽马马尔可夫链来建模泊松率的时间演化。通过利用负二项分布的数据增强和边际化技术，该方法实现了闭式推理，并通过伽马过程自动推断因子数量，在文本和音乐分析应用中达到最先进性能。

ABSTRACT

A gamma process dynamic Poisson factor analysis model is proposed to factorize a dynamic count matrix, whose columns are sequentially observed count vectors. The model builds a novel Markov chain that sends the latent gamma random variables at time $(t-1)$ as the shape parameters of those at time $t$, which are linked to observed or latent counts under the Poisson likelihood. The significant challenge of inferring the gamma shape parameters is fully addressed, using unique data augmentation and marginalization techniques for the negative binomial distribution. The same nonparametric Bayesian model also applies to the factorization of a dynamic binary matrix, via a Bernoulli-Poisson link that connects a binary observation to a latent count, with closed-form conditional posteriors for the latent counts and efficient computation for sparse observations. We apply the model to text and music analysis, with state-of-the-art results.

研究动机与目标

• 建模动态计数和二值矩阵的时间演化，其中列代表按顺序观测的数据向量。
• 解决在非马尔可夫伽马过程中推断伽马形状参数的挑战，提出一种新颖的数据增强和边际化框架。
• 开发一种灵活的非参数贝叶斯因子分析模型，自动推断潜在因子数量，无需人工调参。
• 通过伯努利-泊松链接函数，实现对稀疏观测下动态二值矩阵的高效推理。
• 在真实世界文本和音乐数据集上，相比现有动态矩阵分解模型，实现优越的实验性能。

提出的方法

• 提出一种伽马马尔可夫链，其中时间 t−1 的形状参数控制时间 t 的伽马分布率：θt|θt−1 ∼ Gam(θt−1, 1/c)。
• 使用泊松似然将潜在伽马率 θt 与观测计数 nt ∼ Pois(θt) 联系起来，实现动态计数矩阵因子分解。
• 对二值数据应用伯努利-泊松链接：bt = 1 当且仅当 nt ≥ 1，允许通过截断泊松后验分布对潜在计数进行条件更新。
• 采用伽马过程先验，非参数地推断潜在因子数量，允许潜在无限因子并实现自动模型选择。
• 为负二项分布开发新颖的数据增强和边际化技术，推导伽马形状参数的闭式条件后验分布。
• 将伽马马尔可夫链整合到泊松因子分析中，通过共轭先验和条件更新实现稀疏观测下的高效推理。

实验结果

研究问题

• RQ1 伽马马尔可夫链是否能在非参数贝叶斯框架下有效建模计数和二值数据的时间动态？
• RQ2 如何使非马尔可夫伽马过程中伽马形状参数的推断变得可行且高效？
• RQ3 所提出的模型是否能通过伽马过程先验自动推断潜在因子数量，而无需人工调参？
• RQ4 伯努利-泊松链接是否能实现对稀疏观测下动态二值矩阵的准确且高效因子分解？
• RQ5 在重建准确性和预测性能方面，该模型与最先进方法相比在真实世界动态计数和二值矩阵上的表现如何？

主要发现

• GP-DPFA 模型在文本和音乐数据集上达到最先进性能，优于所有动态和非动态基线模型。
• 在 Conf. 数据集上，GP-DPFA 平均发现约 14 个活跃主题，且潜在因子分配具有显著的时间相关性。
• 模型以高保真度重建原始数据，表现为观测数据与估计潜在计数之间的相关性图高度一致。
• 与非动态基线相比，GP-DPFA 的潜在因子相关性显著更低，表明因子更具区分性和可解释性。
• 在 JSB chorales 和 Piano.midi 数据集上，即使原始数据未表现出明显相关结构，潜在空间仍揭示出清晰的相关性模式。
• 该方法通过利用共轭先验和闭式后验分布，实现了对稀疏二值观测的高效推理，显著降低了计算开销。