[论文解读] Practical Collapsed Stochastic Variational Inference for the HDP

Arnim Bleier|arXiv (Cornell University)|Dec 2, 2013

Bayesian Methods and Mixture Models参考文献 5被引用 7

一句话总结

该论文提出PCSVCB0，一种针对层次狄利克雷过程（HDP）的实用化坍缩随机变分推断算法，通过按顺序处理词语并实时更新充分统计量，实现了在线、内存高效的推断。与现有批量和在线方法相比，该方法在TREC-1数据集上实现了更低的困惑度，且收敛速度更快，预测性能更优。

ABSTRACT

Recent advances have made it feasible to apply the stochastic variational paradigm to a collapsed representation of latent Dirichlet allocation (LDA). While the stochastic variational paradigm has successfully been applied to an uncollapsed representation of the hierarchical Dirichlet process (HDP), no attempts to apply this type of inference in a collapsed setting of non-parametric topic modeling have been put forward so far. In this paper we explore such a collapsed stochastic variational Bayes inference for the HDP. The proposed online algorithm is easy to implement and accounts for the inference of hyper-parameters. First experiments show a promising improvement in predictive performance.

研究动机与目标

• 开发一种高效、可扩展的HDP-LDA模型推断算法，支持在线学习并降低内存使用。
• 将坍缩随机变分推断扩展至非参数HDP框架，此前该方法尚未被提出。
• 在保持计算效率和可扩展性的前提下，实现对超参数α和γ的联合推断。
• 与批量和在线基线方法相比，提升在困惑度和收敛速度方面的预测性能。

提出的方法

• 该算法逐个处理词语，使用随机更新规则维护主题和词-主题计数的运行估计。
• 采用一种坍缩变分推断方案，对θ和φ进行边际化处理，通过当前统计量更新主题分配分布q(z_di = k)，而无需存储单个分配结果。
• 主题分配的关键更新公式为：q(z_di = k) ∝ (n_{dk} + απ_k) * (n_{kw_di} + β) / (n_{k.} + Vβ)，其中n_{dk}、n_{kw}和n_{k.}为运行期望计数。
• 通过使用估计指示函数E[1(n_{dk} ≥ 1)]的棒-breaking过程更新全局主题流行度π_k，并采用指数衰减实现自适应更新。
• 利用基于digamma函数和经验文档-主题存在性的迭代随机逼近方法更新超参数α和γ。
• 所有更新组件均采用步长调度ρ_t = s / (τ + t)^0.9，其中文档级、语料级和超参数更新分别使用独立的调度。

实验结果

研究问题

• RQ1 能否有效将坍缩随机变分推断扩展至非参数HDP-LDA模型？
• RQ2 所提出的在线、内存高效的算法是否在预测性能上优于批量方法或现有在线方法？
• RQ3 在随机、在线设置下，能否可靠地实现对超参数α和γ的联合推断？
• RQ4 与SCVB0和PCVB0相比，该方法在真实文本数据上的收敛速度和最终困惑度表现如何？

主要发现

• 在TREC-1数据集上，PCSVB0的困惑度低于SCVB0和PCVB0，表明其预测性能更优。
• 该算法表现出更快的收敛速度，在较少迭代次数内即达到更低的困惑度值。
• 对棒-breaking过程采用实用的下界近似，实现了稳定且高效的推断，无需完整追踪方差。
• 通过避免存储单个主题分配并增量式更新充分统计量，该算法保持了极低的内存占用。
• 步长调度ρ_t = s / (τ + t)^0.9确保了模型所有组件的稳定收敛。
• 该方法成功实现了在线方式下对超参数α和γ的推断，提升了模型对流式数据的适应能力。