[论文解读] Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling

Kar Wai Lim, Changyou Chen+1 more|arXiv (Cornell University)|Sep 22, 2016

Topic Modeling参考文献 22被引用 43

一句话总结

该论文提出了一种名为 Twitter-Network (TN) 的主题模型，这是一种完整的贝叶斯非参数方法，通过分层泊松-狄利克雷过程（HPDP）对文本进行建模，同时利用高斯过程（GP）随机函数对关联的社交网络结构进行建模。该方法在主题一致性方面显著优于现有模型，并支持作者推荐和话题标签建议等新颖应用，相较于基线模型，其对数似然值提升了 266.0。

ABSTRACT

Twitter data is extremely noisy -- each tweet is short, unstructured and with informal language, a challenge for current topic modeling. On the other hand, tweets are accompanied by extra information such as authorship, hashtags and the user-follower network. Exploiting this additional information, we propose the Twitter-Network (TN) topic model to jointly model the text and the social network in a full Bayesian nonparametric way. The TN topic model employs the hierarchical Poisson-Dirichlet processes (PDP) for text modeling and a Gaussian process random function model for social network modeling. We show that the TN topic model significantly outperforms several existing nonparametric models due to its flexibility. Moreover, the TN topic model enables additional informative inference such as authors' interests, hashtag analysis, as well as leading to further applications such as author recommendation, automatic topic labeling and hashtag suggestion. Note our general inference framework can readily be applied to other topic models with embedded PDP nodes.

研究动机与目标

• 解决传统主题模型（如 LDA）在处理短文本、噪声大且非正式的推文时性能下降的问题。
• 利用辅助社交媒体信号（如话题标签、作者身份和关注者网络）提升主题建模的准确性和灵活性。
• 构建一个完全贝叶斯、非参数化的框架，避免预先指定主题数量，并支持动态推断。
• 通过整合社交与文本信号，支持作者推荐、自动主题标注和话题标签建议等新应用。
• 提供一个可泛化的推断框架，实现基于 HPDP 的新主题模型变体的快速部署。

提出的方法

• 使用分层泊松-狄利克雷过程（HPDP）对文档-主题分布和词-主题分布进行建模，以捕捉自然语言中词频的幂律分布特性。
• 采用高斯过程（GP）随机函数模型表示社交网络结构，将关注关系建模为作者上的非参数函数。
• 通过作者身份将文本与网络组件关联，使主题分布可在文档和社交连接之间共享。
• 采用完整的贝叶斯处理方式，使用非参数先验，实现无需人工调参的自动主题数量推断。
• 开发了一套灵活的推断框架，支持嵌入 PDP 节点的新主题模型变体的快速原型设计与部署。
• 使用为联合文本-网络结构量身定制的折叠吉布斯采样算法进行后验推断。

实验结果

研究问题

• RQ1 能否通过整合文本与社交网络数据的联合贝叶斯模型，提升在短文本、噪声大推文上的主题建模性能？
• RQ2 与参数化或标准非参数模型相比，分层泊松-狄利克雷过程与高斯过程的结合在提升主题一致性与模型灵活性方面有何优势？
• RQ3 话题标签、作者身份和关注者网络等辅助信号在多大程度上能提升作者推荐与主题标注等下游任务的性能？
• RQ4 与现有非参数主题模型相比，所提出的框架在对数似然与聚类指标方面是否表现出更优性能？
• RQ5 该模型能否推广至 Twitter 以外的数据类型，如博客或学术出版网络？

主要发现

• TN 主题模型在测试集上的对数似然值达到 208.4 ± 3.2，显著优于基线模型（218.4 ± 4.0）和无网络信息的模型（280.8 ± 15.4），表明其模型拟合能力更强。
• 该模型在主题一致性与聚类性能方面均有提升，在纯度、标准化互信息和点互信息（PMI）等指标上优于最先进的基于 LDA 的方法。
• 超过 90% 的每个主题的前几位话题标签被确认为有效的主题标签候选，证明了自动主题标注的有效性。
• TN 模型在作者推荐中使用的核函数，使前几位推荐作者的平均余弦相似度达到 0.78，而原始核函数仅为 0.00，显著提升了推荐质量。
• 消融实验表明，文本建模、网络建模与话题标签整合三个组件均对整体性能提升有显著贡献。
• 该框架实现了高效的推断与新 HPDP 主题模型变体的快速部署，尽管模型结构复杂，但显著降低了实现复杂度。