[论文解读] Timeline: A Dynamic Hierarchical Dirichlet Process Model for Recovering Birth/Death and Evolution of Topics in Text Stream

Amr Ahmed, Eric P. Xing|arXiv (Cornell University)|Mar 15, 2012

Bayesian Methods and Mixture Models参考文献 19被引用 147

一句话总结

本文提出iDTM，一种非参数贝叶斯模型，通过引入具有时序依赖性的层次狄利克雷过程，动态推断文本流中的主题诞生/消亡、演化主题分布以及随时间变化的主题流行度。该模型在模拟数据和真实NIPS数据上均展现出优越的预测性能，优于DTM和HDP模型的保留样本对数似然。

ABSTRACT

Topic models have proven to be a useful tool for discovering latent structures in document collections. However, most document collections often come as temporal streams and thus several aspects of the latent structure such as the number of topics, the topics' distribution and popularity are time-evolving. Several models exist that model the evolution of some but not all of the above aspects. In this paper we introduce infinite dynamic topic models, iDTM, that can accommodate the evolution of all the aforementioned aspects. Our model assumes that documents are organized into epochs, where the documents within each epoch are exchangeable but the order between the documents is maintained across epochs. iDTM allows for unbounded number of topics: topics can die or be born at any epoch, and the representation of each topic can evolve according to a Markovian dynamics. We use iDTM to analyze the birth and evolution of topics in the NIPS community and evaluated the efficacy of our model on both simulated and real datasets with favorable outcome.

研究动机与目标

• 建模文档流中随时间演变的主题结构，其中主题流行度、词分布及主题数量动态变化。
• 开发一种非参数贝叶斯框架，允许主题在无需预先指定主题数量的情况下实现诞生、消亡与演化。
• 通过动态缓存充分统计量，实现在大规模时间文本集合中的高效推断。
• 通过实证验证模型在真实数据（如NIPS会议论文）中恢复有意义的主题时间线与趋势的能力。

提出的方法

• iDTM使用递归中国餐馆特许经营（RCRF）过程建模时间周期之间的时序依赖，支持主题的诞生、消亡与演化。
• 主题词分布通过一阶马尔可夫状态空间模型演化，实现随时间的平滑过渡。
• 主题流行度通过基于∆阶过程的“强者愈强”机制演化，其时间衰减核由λ和∆控制。
• 模型采用吉布斯采样算法，并通过动态维护的缓存充分统计量加速推断。
• 对基测度方差σ、随机游走方差ρ以及时间衰减参数λ等超参数进行调优以实现最优性能。
• 通过保留样本对数似然（LL）评估模型，并与DTM和HDP在模拟数据和真实NIPS数据上进行对比。

实验结果

研究问题

• RQ1 如何在文本流中动态恢复主题的诞生与消亡事件？
• RQ2 非参数模型在多大程度上能够捕捉随时间演变的主题词分布与流行度趋势？
• RQ3 该模型的预测性能与现有动态主题模型（如DTM和HDP）相比如何？
• RQ4 模型对超参数设置（如ρ、λ和σ）的敏感性如何？
• RQ5 该模型能否生成可解释的主题演化时间线，真实反映学术文献中的学术趋势？

主要发现

• 在模拟数据和真实NIPS数据上，iDTM在保留样本对数似然方面显著优于DTM和HDP，展现出更优的预测准确性。
• 模型成功恢复了主题的诞生与消亡事件，例如在NIPS时间线上，“ICA”和“SVM”等主题的出现与消失可被清晰识别。
• 最优性能在ρ ≈ 0.01时达到；若ρ过大，会导致主题不连贯；若ρ过小，则使主题分布在时间上固定不变。
• 时间衰减参数λ影响主题连续性：λ值过大时，主题会被建模为其他主题的延续，从而降低主题间的分离度。
• 当基测度方差σ处于[5, 10]区间时，生成的主题词分布具有合理稀疏性与可解释性。
• 敏感性分析表明，低估ρ比高估ρ的危害更小，表明模型对适度低估ρ具有鲁棒性。