[论文解读] Progressive EM for Latent Tree Models and Hierarchical Topic Detection

Peixian Chen, Nevin L. Zhang+2 more|arXiv (Cornell University)|Aug 5, 2015

Advanced Text Analysis Techniques被引用 3

一句话总结

该论文提出渐进式期望最大化（PEM）以加速分层潜在树分析（HLTA），这是一种在主题一致性与层次结构质量方面优于基于LDA模型的分层主题检测方法。通过采用受矩方法启发的分步、局部化参数估计策略，取代标准EM算法，PEM-HLTA相较于HLTA实现了40倍的加速——在NIPS数据集上处理时间从17小时缩短至4分钟，同时在模型拟合度与主题质量方面保持一致或更优，并在大规模数据上优于最先进的基于LDA的方法（如nHDP），在效率与主题一致性方面表现更佳。

ABSTRACT

Hierarchical latent tree analysis (HLTA) is recently proposed as a new method for topic detection. It differs fundamentally from the LDA-based methods in terms of topic definition, topic-document relationship, and learning method. It has been shown to discover significantly more coherent topics and better topic hierarchies. However, HLTA relies on the Expectation-Maximization (EM) algorithm for parameter estimation and hence is not efficient enough to deal with large datasets. In this paper, we propose a method to drastically speed up HLTA using a technique inspired by recent advances in the moments method. Empirical experiments show that our method greatly improves the efficiency of HLTA. It is as efficient as the state-of-the-art LDA-based method for hierarchical topic detection and finds substantially better topics and topic hierarchies.

研究动机与目标

• 为解决HLTA计算效率低下的问题，其依赖缓慢的期望最大化（EM）进行参数估计，在大规模数据集上表现不佳。
• 在不牺牲主题质量或层次结构保真度的前提下，提升HLTA的可扩展性。
• 开发一种比EM更快的替代方法，同时保持模型拟合度，显著缩短潜在树模型在主题建模中的训练时间。
• 使HLTA能够在大规模文档集合（如包含30万篇文章的《纽约时报》数据集）上实现实际部署。
• 证明PEM-HLTA在速度与主题一致性方面，可与最先进的基于LDA的方法（如nHDP）相媲美或超越。

提出的方法

• PEM通过分步、局部化的方式估计模型参数，每次仅关注与三到四个观测变量相关的少量参数子集，取代标准EM算法。
• 该方法受矩方法启发，通过涉及观测变量低阶矩的方程求解参数，从而降低计算复杂度。
• PEM-HLTA分为两个阶段：分层模型构建与基于EM式更新的渐进参数估计，针对局部小规模参数组进行迭代。
• 算法采用树状结构贝叶斯网络表示潜在树模型（LTM），其中二值潜在变量构成分层主题聚类。
• 通过在大规模数据集上采用小批量处理方式，利用随机EM进一步扩展PEM-HLTA的规模，实现多轮增量式参数更新。
• 通过确保每篇文档的对数似然值与标准EM方法相当（经实证评估验证），保持了模型拟合度。

实验结果

研究问题

• RQ1 渐进式EM方法是否能显著缩短HLTA的训练时间，同时不降低主题一致性或模型拟合度？
• RQ2 在大规模文本数据上，PEM-HLTA与最先进的基于LDA的方法（如nHDP）在主题质量与层次结构方面相比如何？
• RQ3 渐进式参数估计策略在提升计算效率的同时，能在多大程度上保持模型似然度？
• RQ4 PEM-HLTA能否扩展至大规模数据集（如包含30万篇文章与10,000个词的《纽约时报》语料库）？
• RQ5 在PEM-HLTA的第二阶段使用随机EM，是否能在大幅减少运行时间的同时保持性能？

主要发现

• 在NIPS数据集（1,000词，<2,000篇文档）上，PEM-HLTA将训练时间从HLTA的17小时缩短至仅4分钟，实现255倍加速。
• 在更大的News-5k数据集（10,000词）上，PEM-HLTA耗时365分钟完成训练，而HLTA在3天内未能完成，展现出卓越的可扩展性。
• PEM-HLTA在所有基线模型（包括nHDP与hLDA）中取得了更高的平均主题一致性得分，在《纽约时报》数据集上得分为-12.86，优于nHDP的-13.35。
• PEM-HLTA的每篇文档对数似然值与HLTA几乎完全一致（例如在Nips-1k上分别为-390与-391），证实了模型拟合度得以保持。
• 在《纽约时报》数据集上，PEM-HLTA耗时11小时（670分钟），略慢于nHDP的10.5小时，但生成的主题一致性显著更高，且主题层次结构更优。
• 在主题一致性和模型拟合度方面，该方法优于CorEx、hLDA与nHDP，同时在大规模数据上比HLTA与CorEx更具效率。