[论文解读] Topic words analysis based on LDA model

Xi Qiu, Christopher Stewart|arXiv (Cornell University)|May 15, 2014

Complex Network Analysis Techniques参考文献 4被引用 4

一句话总结

本文提出了一种基于LDA模型与Gibbs采样的主题建模方法，用于分析来自Obama.com、发送给俄亥俄州哥伦布市本地收件人的电子邮件内容。通过利用零碳排放的Datagreening.com服务器以及通过BashReduce实现的并行计算，该方法实现了30%的加速，并表明当主题词列表大小适当时，LDA在识别目标政治主题词方面的精确度比TF-IDF高出53.96%。

ABSTRACT

Social network analysis (SNA), which is a research field describing and modeling the social connection of a certain group of people, is popular among network services. Our topic words analysis project is a SNA method to visualize the topic words among emails from Obama.com to accounts registered in Columbus, Ohio. Based on Latent Dirichlet Allocation (LDA) model, a popular topic model of SNA, our project characterizes the preference of senders for target group of receptors. Gibbs sampling is used to estimate topic and word distribution. Our training and testing data are emails from the carbon-free server Datagreening.com. We use parallel computing tool BashReduce for word processing and generate related words under each latent topic to discovers typical information of political news sending specially to local Columbus receptors. Running on two instances using paralleling tool BashReduce, our project contributes almost 30% speedup processing the raw contents, comparing with processing contents on one instance locally. Also, the experimental result shows that the LDA model applied in our project provides precision rate 53.96% higher than TF-IDF model finding target words, on the condition that appropriate size of topic words list is selected.

研究动机与目标

• 分析针对俄亥俄州哥伦布市本地收件人的Obama.com政治电子邮件内容。
• 通过LDA与Gibbs采样进行主题建模，以刻画发件人偏好。
• 评估LDA在识别相关政治主题词方面相对于TF-IDF的预测能力。
• 通过在零碳服务器上使用BashReduce进行并行计算，加速词语处理。
• 对电子邮件语料进行可视化并提取代表性主题词，用于社交网络分析。

提出的方法

• 采用LDA模型对来自Obama.com、发送给哥伦布市收件人的电子邮件语料进行潜在主题推断。
• 使用Gibbs采样高效估算主题与词语分布，避免EM算法带来的计算负担。
• 使用Python对原始电子邮件数据进行预处理：分词、词干提取、停用词过滤及词频统计。
• 应用BashReduce框架，将词频统计任务分发至两个计算实例，实现约30%的加速。
• 将主题-词语分布映射，识别每个主题的代表性关键词，如“health care”、“campaign”和“governor”。
• 使用精确度作为评估指标，比较LDA与TF-IDF在主题词列表匹配上的表现。

实验结果

研究问题

• RQ1 LDA模型在识别目标电子邮件通信中相关政治主题词方面的有效性如何？
• RQ2 使用BashReduce进行并行计算在处理大规模电子邮件语料时能带来多大的性能提升？
• RQ3 在不同主题词列表大小下，LDA在主题词检测中的精确度与TF-IDF相比如何？
• RQ4 LDA能否通过捕捉每封邮件中的多个潜在主题，有效建模政治传播中的发件人偏好？
• RQ5 主题词列表大小对政治电子邮件分析中主题词识别精确度有何影响？

主要发现

• 当主题词列表大小设定为15时，LDA模型的精确度比TF-IDF高出53.96%，表明其具有更强的预测能力。
• 使用BashReduce进行并行处理后，词频统计时间相比单实例本地处理减少了约30%。
• LDA成功识别出邮件语料中的四个主要主题：health care、new contributions、local news 和 presidential information。
• 随着目标词列表大小的增加，LDA与TF-IDF的精确度均有所提升，但当主题列表大小足够大时，LDA始终优于TF-IDF。
• 实验结果证实，LDA在捕捉政治电子邮件内容中有意义且上下文相关的主题词方面，比TF-IDF更有效。
• 本研究凸显了结合Gibbs采样的LDA在政治通信社交网络分析中实现可扩展、高效主题建模的可行性。