[论文解读] Toward Emerging Topic Detection for Business Intelligence: Predictive Analysis of `Meme' Dynamics

K. Glass, R. Colbaugh|arXiv (Cornell University)|Dec 29, 2010

Complex Network Analysis Techniques参考文献 12被引用 3

一句话总结

本文提出了一种预测框架，通过分析‘模因’（meme）动态来检测新兴商业话题——即作为趋势讨论追踪器的独特短语。作者使用新颖的、非传统的早期传播行为度量指标，训练分类器以预测哪些模因将实现广泛传播，展示了在2008年末博客数据中高精度识别高影响力话题的能力。

ABSTRACT

Detecting and characterizing emerging topics of discussion and consumer trends through analysis of Internet data is of great interest to businesses. This paper considers the problem of monitoring the Web to spot emerging memes - distinctive phrases which act as "tracers" for topics - as a means of early detection of new topics and trends. We present a novel methodology for predicting which memes will propagate widely, appearing in hundreds or thousands of blog posts, and which will not, thereby enabling discovery of significant topics. We begin by identifying measurables which should be predictive of meme success. Interestingly, these metrics are not those traditionally used for such prediction but instead are subtle measures of meme dynamics. These metrics form the basis for learning a classifier which predicts, for a given meme, whether or not it will propagate widely. The utility of the prediction methodology is demonstrated through analysis of memes that emerged online during the second half of 2008.

研究动机与目标

• 通过监控在线讨论，实现在新兴商业话题出现的早期阶段即被检测到。
• 识别在模因成为病毒式传播之前，其潜在广泛传播能力的可度量指标。
• 开发一种预测分类器，以区分极有可能病毒式传播的模因与不会传播的模因。
• 使用2008年末的真实博客数据，证明该方法的实用性。
• 将关注点从静态度量转向动态的、早期阶段的行为模式，以预测模因的成功。

提出的方法

• 从2008年下半年的博客文章中识别出一组独特短语（模因）。
• 提取捕捉早期传播模式的动态度量指标，如增长速率、突发性及时间聚集性，而非依赖最终的流行度。
• 将这些动态度量作为特征，训练有监督的机器学习分类器。
• 应用该分类器，以预测某一模因是否会出现在数百甚至数千篇博客文章中（即实现广泛传播）。
• 使用历史数据评估模型的预测性能，重点关注早期指标。
• 利用分类器在模因达到可见度峰值之前即标记出新兴话题，从而实现主动的商业智能。

实验结果

研究问题

• RQ1 早期模因传播的哪些动态特征最能预测其最终的广泛传播？
• RQ2 模因扩散过程中细微的、早期阶段的行为模式，是否能超越传统的基于流行度的度量指标，更有效地预测病毒式传播？
• RQ3 基于早期传播动态训练的分类器，在多大程度上能准确预测哪些模因将成为高影响力话题？
• RQ4 与传统方法相比，该方法在检测新兴商业趋势方面具有怎样的预测能力？
• RQ5 在商业智能背景下，该方法在从在线话语中识别新兴话题方面，具有怎样的实际应用价值？

主要发现

• 所提出的方法仅使用早期传播数据，即可成功识别出具有广泛传播潜力的模因。
• 最具预测力的特征是动态度量指标，如增长速率和突发性，而非最终流行度或初始频率。
• 该分类器在区分极有可能病毒式传播的模因与不会传播的模因方面，表现出高预测准确率。
• 该模型通过在话题可见度达到峰值前实现早期检测，展现出对商业智能的实际价值。
• 结果表明，细微的、早期阶段的动态行为比汇总性或静态度量更具信息量，能更有效地预测未来的病毒式传播。
• 该框架在2008年末的真实博客数据上得到验证，证实其在现实世界趋势检测中的相关性。