[论文解读] Transfer Topic Modeling with Ease and Scalability

Jeon-Hyung Kang, Jun Ma+1 more|arXiv (Cornell University)|Jan 24, 2013

Topic Modeling参考文献 23被引用 8

一句话总结

本文提出了一种迁移学习扩展的层次化LDA模型——thLDA，该模型利用来自源领域（如Yahoo! News、Wikipedia）的有标签文档，以提升对短文本、噪声较大的社交媒体文本的主题建模效果。通过引入源自源领域标签的信息性先验，thLDA增强了主题的可解释性与预测性能，同时采用并行吉布斯采样框架，实现在大规模数据集上的可扩展推理，其在准确率与效率方面均优于LDA与hLDA。

ABSTRACT

The increasing volume of short texts generated on social media sites, such as Twitter or Facebook, creates a great demand for effective and efficient topic modeling approaches. While latent Dirichlet allocation (LDA) can be applied, it is not optimal due to its weakness in handling short texts with fast-changing topics and scalability concerns. In this paper, we propose a transfer learning approach that utilizes abundant labeled documents from other domains (such as Yahoo! News or Wikipedia) to improve topic modeling, with better model fitting and result interpretation. Specifically, we develop Transfer Hierarchical LDA (thLDA) model, which incorporates the label information from other domains via informative priors. In addition, we develop a parallel implementation of our model for large-scale applications. We demonstrate the effectiveness of our thLDA model on both a microblogging dataset and standard text collections including AP and RCV1 datasets.

研究动机与目标

• 解决传统LDA与hLDA在建模短文本、噪声大且快速变化的社交媒体文本时的局限性。
• 在无需对目标领域数据进行人工标注的前提下，提升主题模型的可解释性与拟合质量。
• 通过并行推理实现大规模社交媒体数据集上的可扩展主题建模。
• 将丰富标注的源语料库（如新闻、Wikipedia）中的领域知识迁移至目标领域，以增强目标领域中的主题层次学习。
• 开发一种稳健且高效的框架，在合理主题数量下保持较高的预测性能。

提出的方法

• 通过引入来自Yahoo! News、Wikipedia等有标签源语料库的主题先验，将层次化LDA（hLDA）扩展为迁移学习模型。
• 使用改进的嵌套中国餐馆过程（nCRP）来利用外部标签信息，在目标领域中引导主题层次结构的推断。
• 从源领域文档中提取代表性词汇，构建信息性先验，以指导目标领域中的主题分布学习。
• 采用基于同步多核执行的并行吉布斯采样算法，实现大规模数据集上的可扩展推理。
• 在吉布斯采样过程中定期应用主题树合并策略，以平衡负载并减少通信开销。
• 使用调和平均估计法计算保留数据的似然，用于LDA、hLDA与thLDA之间的模型比较。

实验结果

研究问题

• RQ1 能否通过来自有标签源领域的迁移学习，提升对短文本、噪声较大的社交媒体文本的主题建模性能？
• RQ2 通过信息性先验引入外部领域知识，在短文本语料中如何影响主题的可解释性与模型拟合效果？
• RQ3 所提出的并行推理框架在数据规模与计算资源增加时，其可扩展性达到何种程度？
• RQ4 thLDA在微博与标准文本语料上是否在预测性能与主题准确性方面均优于标准LDA与hLDA？
• RQ5 主题树合并频率如何影响并行thLDA推理的效率与收敛性？

主要发现

• 在Twitter、AP与RCV1数据集上，thLDA的保留数据似然显著高于LDA与hLDA，证明其具有更优的预测性能。
• 在人工评估中，thLDA对100条抽样推文的主题分配准确率达到71%，优于LDA（41%）与hLDA（46%）。
• 当每200次吉布斯迭代合并一次主题树时，使用4个进程的并行thLDA实现3.25倍的加速，表明其具备出色的可扩展性。
• 在Twitter数据上，thLDA表现优于hLDA，而hLDA在该数据上甚至表现不如LDA，凸显了在噪声环境下迁移先验的优越性。
• 该模型在合理主题数量下保持了高性能，表明其无需使用过大的主题集合即可获得良好结果。
• 主题树合并带来的开销可控，且在大规模数据集上趋于可忽略，证实该框架适用于大规模应用场景。