[论文解读] Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation

Zheng Wang, Nizar Bouguila|arXiv (Cornell University)|Feb 21, 2026

Bayesian Methods and Mixture Models被引用 0

一句话总结

该论文通过用 Dirichlet-Tree 先验（LDTA）替代 Dirichlet 先验来推广 LDA，并开发了全向量化的变分推断和期望传播，且支持 GPU 加速以实现可扩展推断。

ABSTRACT

Latent Dirichlet Allocation (LDA) is a foundational model for discovering latent thematic structure in discrete data, but its Dirichlet prior cannot represent the rich correlations and hierarchical relationships often present among topics. We introduce the framework of Latent Dirichlet-Tree Allocation (LDTA), a generalization of LDA that replaces the Dirichlet prior with an arbitrary Dirichlet-Tree (DT) distribution. LDTA preserves LDA's generative structure but enables expressive, tree-structured priors over topic proportions. To perform inference, we develop universal mean-field variational inference and Expectation Propagation, providing tractable updates for all DT. We reveal the vectorized nature of the two inference methods through theoretical development, and perform fully vectorized, GPU-accelerated implementations. The resulting framework substantially expands the modeling capacity of LDA while maintaining scalability and computational efficiency.

研究动机与目标

• 建模丰富的主题相关性和层级结构的动机，超越 Dirichlet 约束。
• 通过用 Dirichlet-Tree 先验替代 Dirichlet 先验来推广 LDA，以捕捉结构化的主题关系。
• 开发可用于大规模语料库的可扩展向量化推断算法。
• 为 Dirichlet-Tree 分布及其与多项式似然的共轭性提供理论基础。
• 在文本、图像和生物信息数据上展示实际适用性。

提出的方法

• 形式化 Dirichlet-Tree 分布、其指数形式及与多项式似然的共轭性。
• 引入 Latent Dirichlet-Tree Allocation (LDTA) 作为 Dirichlet-Tree 驱动的 LDA 通用化。
• 推导用于 LDTA 的向量化通用均值场变分推断（MFVI）算法。
• 推导用于 LDTA 的向量化期望传播（EP）算法。
• 引入贝叶斯算子以简化和统一 Dirichlet-Tree 框架内的后验更新。
• 给出向量化、GPU 加速实现以实现可扩展推断。

实验结果

研究问题

• RQ1 LDTA 是否能通过 Dirichlet-Tree 先验准确建模分层和相关的主题结构？
• RQ2 如何为 LDTA 开发并向量化 MFVI 和 EP 以维持可扩展性？
• RQ3 在主题模型中使用 Dirichlet-Tree 先验相较于标准 Dirichlet 先验，在计算和统计上有哪些好处？
• RQ4 Dirichlet-Tree 先验如何影响 LDTA 的共轭性、更新和后验近似？
• RQ5 相较于传统 LDA，LDTA 方法在文本、图像和生物信息数据等多样数据域上的表现如何？

主要发现

• LDTA 通过对主题比例施加表达能力强的树状先验来扩展 LDA。
• 作者推导出完全向量化的 MFVI 和 EP 算法，且对 Dirichlet-Tree 先验具有可控更新。
• Dirichlet-Tree 分布被证明与多项式似然具有共轭性，支持可扩展的贝叶斯更新。
• 引入贝叶斯算子以简化和统一 LDTA 的后验更新。
• GPU 加速、向量化实现显著提升大规模数据集的可扩展性。
• 实验覆盖文档建模、图像分类和 RNA 测序，展示广泛适用性。