[论文解读] Scalable Generalized Dynamic Topic Models

Patrick Jähnichen, Florian Wenzel+2 more|arXiv (Cornell University)|Mar 21, 2018

Data Management and Algorithms被引用 18

一句话总结

该论文提出了一种可扩展的广义动态主题模型，通过用任意高斯过程先验替代传统的维纳过程先验，扩展了传统动态主题模型，实现了对事件定位、长期记忆和光滑演化等多样化时间动态的灵活建模。通过使用带诱导点的随机变分推断，该方法在大规模文本数据上实现了可扩展训练，同时在预测似然性方面优于基线模型，并在真实世界数据集中揭示了新颖的时间模式。

ABSTRACT

Dynamic topic models (DTMs) model the evolution of prevalent themes in literature, online media, and other forms of text over time. DTMs assume that word co-occurrence statistics change continuously and therefore impose continuous stochastic process priors on their model parameters. These dynamical priors make inference much harder than in regular topic models, and also limit scalability. In this paper, we present several new results around DTMs. First, we extend the class of tractable priors from Wiener processes to the generic class of Gaussian processes (GPs). This allows us to explore topics that develop smoothly over time, that have a long-term memory or are temporally concentrated (for event detection). Second, we show how to perform scalable approximate inference in these models based on ideas around stochastic variational inference and sparse Gaussian processes. This way we can train a rich family of DTMs to massive data. Our experiments on several large-scale datasets show that our generalized model allows us to find interesting patterns that were not accessible by previous approaches.

研究动机与目标

• 为克服传统动态主题模型受限于维纳过程先验且缺乏可扩展性的局限性。
• 通过在主题演化中允许任意高斯过程先验，推广动态主题建模，实现对事件检测和长期记忆等更丰富时间动态的建模。
• 开发一种基于随机变分推断和稀疏高斯过程的可扩展近似贝叶斯推断算法，适用于大规模文本数据。
• 证明广义模型在预测性能上的提升，并揭示不同数据集中主题演化的新定性洞察。

提出的方法

• 该模型通过将主题演化建模为潜在高斯过程（GP）而非维纳过程，推广了动态主题模型，从而允许多样化的时间相关结构。
• 作者采用基于诱导点的稀疏GP近似，将计算复杂度从时间戳数量的立方降低为诱导点数量的立方，从而实现可扩展性。
• 使用带闭式自然梯度更新的随机变分推断，确保高效且稳定的优化，无需数值采样或迭代求解器。
• 变分推断框架支持任意GP协方差核函数（如Ornstein-Uhlenbeck、Cauchy、RBF），从而实现对不同时间动态的灵活建模。
• 该方法使用边际似然的下界，支持数据子采样，并在大规模文档集合上实现高效优化。
• 推断算法通过利用稀疏GP框架和随机优化，设计为可扩展至大规模数据集。

实验结果

研究问题

• RQ1 动态主题模型能否超越维纳过程，以捕捉更复杂的时间动态，如事件定位和长期记忆？
• RQ2 如何在具有非马氏、非马氏先验的广义动态主题模型中实现可扩展的近似贝叶斯推断？
• RQ3 在不同文本语料中建模主题演化时，使用不同GP核函数（如OU、Cauchy、RBF）在定性和定量上有哪些优势？
• RQ4 所提出的方法能否在保留数据上的预测性能上优于标准动态主题模型？
• RQ5 该模型在多大程度上能揭示可解释的时间局部化主题，如与历史事件或政治选举相关的话题？

主要发现

• 采用高斯过程先验的广义动态主题模型在所有数据集上均一致优于维纳过程基线模型的每词预测困惑度：在SoU数据集上为1.45575，NIPS数据集上为1.48105，NYT数据集上为1.42073（使用Cauchy核）。
• Ornstein-Uhlenbeck核能有效在时间上定位主题，实现对战争和选举等事件驱动主题活动的准确检测。
• Cauchy核在NIPS和SoU数据集上表现出更优性能，捕捉到长期记忆效应，并在未见数据上泛化得更好。
• 该模型成功识别出国情 State of the Union 演说中的时间局部化主题，包括第一次世界大战、第二次世界大战和越南战争的峰值，相关关键词如“attack”和“japanese”在正确时间出现。
• RBF和Cauchy核产生了更平滑的词轨迹估计，而OU核则允许更尖锐、事件特定的主题激活，表明核函数选择在建模不同时间现象中的价值。
• 在SoU数据集上训练时，所有核函数的ELBO目标函数均收敛至最优值，证实了推断算法的稳定性和可扩展性。