[论文解读] Short Text Topic Modeling Techniques, Applications, and Performance: A Survey

Jipeng Qiang, Qian Zhenyu+3 more|arXiv (Cornell University)|Apr 13, 2019

Topic Modeling被引用 21

一句话总结

本综述对短文本主题建模（STTM）技术进行了全面分析，将其分类为基于狄利克雷多项式混合（DMM）的方法、基于全局词共现的方法以及基于自聚合的方法。在真实世界数据集上评估了最先进模型的性能，推出了开源的Java版STTM库，并表明基于DMM的模型相比其他方法具有更快的收敛速度和更高的效率，且GPU加速版本在保持主题连贯性的同时实现了更好的可扩展性。

ABSTRACT

Analyzing short texts infers discriminative and coherent latent topics that is a critical and fundamental task since many real-world applications require semantic understanding of short texts. Traditional long text topic modeling algorithms (e.g., PLSA and LDA) based on word co-occurrences cannot solve this problem very well since only very limited word co-occurrence information is available in short texts. Therefore, short text topic modeling has already attracted much attention from the machine learning research community in recent years, which aims at overcoming the problem of sparseness in short texts. In this survey, we conduct a comprehensive review of various short text topic modeling techniques proposed in the literature. We present three categories of methods based on Dirichlet multinomial mixture, global word co-occurrences, and self-aggregation, with example of representative approaches in each category and analysis of their performance on various tasks. We develop the first comprehensive open-source library, called STTM, for use in Java that integrates all surveyed algorithms within a unified interface, benchmark datasets, to facilitate the expansion of new methods in this research field. Finally, we evaluate these state-of-the-art methods on many real-world datasets and compare their performance against one another and versus long text topic modeling algorithm.

研究动机与目标

• 为解决短文本中稀疏性问题，提供短文本主题建模（STTM）技术的系统性分类体系。
• 在多个真实世界数据集和任务（如分类、聚类与主题连贯性）上评估代表性STTM方法的性能。
• 开发首个开源、统一的Java库（STTM），集成所调研的算法、基准数据集与评估工具，以支持未来研究。
• 比较基于DMM、全局共现与自聚合的模型在效率、收敛速度与主题质量方面的表现。
• 识别在真实应用中短文本主题建模的可视化、评估指标与模型选择方面存在的关键挑战。

提出的方法

• 将STTM方法分为三类：基于DMM的方法（如GSDMM、GPU-DMM）、基于全局词共现的方法（如BTM、WNTM）以及基于自聚合的方法（如PTM、SATM）。
• 在DMM及相关模型中采用变分推断与Gibbs采样进行参数估计，并通过GPU加速实现大规模推断。
• 提出一个统一的开源Java库（STTM），为所有调研模型提供统一接口，并支持分类、聚类与连贯性评分等评估任务。
• 使用六个公开数据集（如Biomedicine、GoogleNews、Tweet）在主题连贯性（NMI）、收敛速度与运行效率方面对模型性能进行基准测试。
• 应用标准化评估指标，包括标准化互信息（NMI）与主题连贯性，以比较不同语料中模型的表现。
• 通过测量迭代过程中NMI值的变化分析收敛行为，结果表明基于DMM的模型相比自聚合方法收敛更快。

实验结果

研究问题

• RQ1 不同类别的短文本主题建模方法——基于DMM、基于全局共现与基于自聚合的方法——在主题连贯性与收敛速度方面表现如何？
• RQ2 在短文本主题建模中，GPU加速模型与CPU原生实现之间存在怎样的效率权衡？
• RQ3 STTM模型在短文本语料上的性能与传统长文本主题模型（如LDA）相比如何？
• RQ4 哪种模型架构在真实短文本数据集上实现了主题质量、收敛速度与计算效率的最佳平衡？
• RQ5 评估主题模型面临的主要挑战是什么？如何通过新型指标与可视化技术提升可解释性与模型选择能力？

主要发现

• 基于DMM的模型（如GSDMM与GPU-DMM）收敛最快，30次迭代内即达稳定性能；而基于自聚合的模型（如SATM）收敛最慢，且迭代性能最低。
• LDA与DMM在初始化时间与单次迭代时间上均最高效，其中LDA在Biomedicine数据集上耗时77 ms，DMM为46 ms。
• GPU-PDMM是速度最慢的模型，其在Biomedicine数据集上的单次迭代耗时达9685.44 ms，主要因主题分配采样计算成本过高。
• 引入词嵌入的模型（如GPU-DMM、LF-DMM、GPU-PDMM）因需进行词间相似度计算，初始化时间显著增加。
• 基于全局词共现的方法比GSDMM与LDA慢，但快于自聚合方法；PTM比SATM快，但慢于共现方法。
• DMM基模型的NMI值在30次迭代内即稳定，而全局共现方法需60次迭代，进一步证实了其更快的收敛速度。