[论文解读] The Poisson Gamma Belief Network

Mingyuan Zhou, Yulai Cong+1 more|arXiv (Cornell University)|Nov 6, 2015

Bayesian Methods and Mixture Models参考文献 26被引用 14

一句话总结

Poisson Gamma Belief Network (PGBN) 是一种用于高维计数数据的深度生成模型，其使用伽马分布的非负隐藏单元和狄利克雷分布的连接权重，通过上下文吉布斯采样器实现多层的联合训练。在固定第一层宽度预算的前提下，该模型可自动推断最优的网络深度与层宽，通过增加深度来提升性能，尤其在计算资源有限的情况下表现更优。

ABSTRACT

To infer a multilayer representation of high-dimensional count vectors, we propose the Poisson gamma belief network (PGBN) that factorizes each of its layers into the product of a connection weight matrix and the nonnegative real hidden units of the next layer. The PGBN's hidden layers are jointly trained with an upward-downward Gibbs sampler, each iteration of which upward samples Dirichlet distributed connection weight vectors starting from the first layer (bottom data layer), and then downward samples gamma distributed hidden units starting from the top hidden layer. The gamma-negative binomial process combined with a layer-wise training strategy allows the PGBN to infer the width of each layer given a fixed budget on the width of the first layer. The PGBN with a single hidden layer reduces to Poisson factor analysis. Example results on text analysis illustrate interesting relationships between the width of the first layer and the inferred network structure, and demonstrate that the PGBN, whose hidden units are imposed with correlated gamma priors, can add more layers to increase its performance gains over Poisson factor analysis, given the same limit on the width of the first layer.

研究动机与目标

• 开发一种用于高维计数向量的深度无监督模型，以捕捉层级结构与过度离散性。
• 在第一层宽度预算固定的条件下，实现网络深度与各层宽度的自动推断。
• 设计一种高效的推断算法，联合训练所有层，同时保持对伽马分布隐藏单元的可处理性。
• 证明在相同计算预算下，通过牺牲第一层宽度以增加深度的深层网络，可优于浅层宽网络。
• 通过反向传播顶层隐藏单元，生成可解释的合成文档。

提出的方法

• PGBN 通过泊松似然分解观测计数，将每一层的形状参数建模为伽马分布，并通过伽马分布的权重与下一层连接。
• 上下文吉布斯采样器在每次迭代中交替地从下至上采样狄利克雷分布的连接权重，以及从上至下采样伽马分布的隐藏单元。
• 使用伽马-负二项分布过程来建模隐藏单元的层级结构，并实现层宽的自动推断。
• 采用分层训练策略，使模型能基于第一层宽度预算推断后续各层的宽度。
• 应用数据增强与边缘化技术以处理伽马分布形状参数的非共轭性，从而实现高效采样。
• 通过采样顶层伽马单元并利用学习到的权重反向传播，生成合成文档。

实验结果

研究问题

• RQ1 具有非负实数隐藏单元的深度信念网络能否有效建模具有过度离散性的高维计数数据？
• RQ2 当第一层宽度受固定计算预算约束时，网络深度如何影响性能表现？
• RQ3 在给定第一层宽度预算的前提下，PGBN 能否自动推断出最优的层宽而无需人工调参？
• RQ4 在牺牲第一层宽度以增加深度的情况下，与浅层宽网络相比，是否能提升表征质量？
• RQ5 PGBN 能否生成反映训练语料语义层级结构的可解释合成文档？

主要发现

• 在固定第一层宽度预算下，更深的 PGBN 架构（例如 T=5）相比浅层模型取得了更低的保留困惑度，证明了其在表征学习方面的优越性。
• 当 K₁max = 200 时，PGBN 推断出深度为 5 的结构（200, 164, 106, 60, 42），表明高层逐渐变窄。
• 当 K₁max = 800 时，推断出的宽度为（608, 100, 99, 96, 89），表明预算盈余导致层宽随深度衰减变慢。
• 具有单个隐藏层的 PGBN 退化为泊松因子分析，验证了其与现有模型的一致性。
• 从顶层伽马单元生成的合成文档具有可解释性，并反映了通用的语义主题，证实了模型捕捉层级语义的能力。
• 在文档分类任务中，该模型优于基线算法，且随着 K₁max 和网络深度的增加，性能持续提升。