[论文解读] Nonparametric Bayesian Negative Binomial Factor Analysis

Mingyuan Zhou|arXiv (Cornell University)|Apr 25, 2016

Bayesian Methods and Mixture Models参考文献 51被引用 6

一句话总结

本文提出非参数贝叶斯负二项因子分析（NBFA），通过将泊松似然替换为负二项分布，以建模过度分散的计数矩阵，捕捉协变量频率中的自激发与交叉激发。该方法引入层级伽马-负二项过程（hGNBP）及一种快速、自适应的分块吉布斯采样器，结果表明NBFA在预测性能、模型简洁性以及计算成本方面均优于基于泊松分布的模型。

ABSTRACT

A common approach to analyze a covariate-sample count matrix, an element of which represents how many times a covariate appears in a sample, is to factorize it under the Poisson likelihood. We show its limitation in capturing the tendency for a covariate present in a sample to both repeat itself and excite related ones. To address this limitation, we construct negative binomial factor analysis (NBFA) to factorize the matrix under the negative binomial likelihood, and relate it to a Dirichlet-multinomial distribution based mixed-membership model. To support countably infinite factors, we propose the hierarchical gamma-negative binomial process. By exploiting newly proved connections between discrete distributions, we construct two blocked and a collapsed Gibbs sampler that all adaptively truncate their number of factors, and demonstrate that the blocked Gibbs sampler developed under a compound Poisson representation converges fast and has low computational complexity. Example results show that NBFA has a distinct mechanism in adjusting its number of inferred factors according to the sample lengths, and provides clear advantages in parsimonious representation, predictive power, and computational complexity over previously proposed discrete latent variable models, which either completely ignore burstiness, or model only the burstiness of the covariates but not that of the factors.

研究动机与目标

• 为解决泊松因子分析（PFA）在建模协变量频率中自激发与交叉激发导致的过度分散计数时的局限性。
• 开发一种非参数贝叶斯模型，支持可数无穷多个因子，实现计数矩阵的灵活、自适应分解。
• 通过在协变量与因子层面建模突发性行为，提升文本与计数数据分析中的预测性能与计算效率。
• 建立NBFA与狄利克雷-多项式混合成员模型之间的理论联系，实现对潜在子群体结构的更丰富表征。

提出的方法

• 通过将PFA中的泊松似然替换为负二项似然，提出负二项因子分析（NBFA），以建模过度分散的计数。
• 建立NBFA与狄利克雷-多项式混合成员模型之间的理论联系，使模型可解释为具有突发行为的潜在子群体。
• 引入层级伽马-负二项过程（hGNBP）作为非参数先验，支持NBFA中可数无穷多个因子。
• 开发基于复合泊松表示的分块吉布斯采样器，可自适应截断因子数量，并确保快速收敛与低计算复杂度。
• 推导出一种退化吉布斯采样器与第二种分块采样器，两者均可基于数据自动推断活跃因子数量。
• 利用hGNBP对样本特定与协变量特定的过度分散率进行建模，提升平滑性与预测准确性。

实验结果

研究问题

• RQ1 与基于泊松的模型相比，负二项因子分析是否能更有效地捕捉协变量频率中的自激发与交叉激发？
• RQ2 如何通过非参数先验支持无穷多个因子，同时在计数矩阵分解中保持计算效率？
• RQ3 所提出的hGNBP-NBFA模型是否在预测性能与模型简洁性方面优于现有离散潜变量模型？
• RQ4 推断出的活跃因子数量如何随样本长度与数据复杂度的变化而自适应调整？

主要发现

• 在二分类与多分类20newsgroups任务中，NBFA在分类准确率上显著优于PFA，在comp.sys.ibm.pc.hardware与comp.sys.mac.hardware任务中达到88.0%的准确率（使用归一化特征）。
• NBFA中推断出的狄利克雷平滑参数η随截断水平K增加而减小，表明具有自适应正则化特性，能更好处理过度分散。
• 基于复合泊松表示的分块吉布斯采样器收敛更快，计算复杂度更低，实现了高效的推断。
• NBFA通过根据样本长度动态调整活跃因子数量K⁺，实现简洁的模型表征，降低不必要的模型复杂度。
• 在20newsgroups数据集中，NBFA在低维特征下达到79.4%的分类准确率，优于使用原始计数的逻辑回归（78.0%）与归一化频率（79.4%）的结果，当使用NBFA推断的特征时。
• 推断出的η与活跃因子K⁺之间的关系在对数尺度上呈下降趋势，表明在不同模型容量下具有稳定且可解释的正则化动态。