[论文解读] On the Real-time Prediction Problems of Bursting Hashtags in Twitter

Shoubin Kong, Qiaozhu Mei+3 more|arXiv (Cornell University)|Jan 9, 2014

Complex Network Analysis Techniques参考文献 21被引用 8

一句话总结

本文提出了一套系统化的实时预测框架，用于预测Twitter上话题标签的爆发行为，定义了关键生命周期状态——预测触发、爆发、停歇和消亡，并提出了时间序列特征及机器学习模型（如SVR、GPR）以预测爆发的开始、持续时间和衰减过程。研究结果表明，SVR和GPR表现最佳，1小时预测的RMSE低至1.315，实现了对病毒式话题的早期检测。

ABSTRACT

Hundreds of thousands of hashtags are generated every day on Twitter. Only a few become bursting topics. Among the few, only some can be predicted in real-time. In this paper, we take the initiative to conduct a systematic study of a series of challenging real-time prediction problems of bursting hashtags. Which hashtags will become bursting? If they do, when will the burst happen? How long will they remain active? And how soon will they fade away? Based on empirical analysis of real data from Twitter, we provide insightful statistics to answer these questions, which span over the entire lifecycles of hashtags.

研究动机与目标

• 为解决在Twitter上实时预测话题标签何时及如何成为病毒式传播（爆发）的挑战。
• 定义并形式化爆发话题标签的完整生命周期，包括触发、爆发开始、停歇和消亡状态。
• 识别有效特征——尤其是新颖的时间序列特征——以实现对话题标签爆发的早期且准确预测。
• 在真实Twitter数据上评估多种机器学习模型（如SVR、GPR、NN）的性能，以确定最优预测表现。

提出的方法

• 使用5分钟滑动窗口定义预测触发，通过阈值δ = 50筛选候选话题标签。
• 当话题标签在触发后24小时内推文数量超过max(c₁ + δ, 1.5c₁)时，定义为爆发，标志着病毒传播的开始。
• 当推文数量在连续24小时内低于爆发阈值时，定义为停歇。
• 当话题标签在连续24小时内不再满足预测触发条件时，定义为消亡，标志着其生命周期的结束。
• 提出基于推文数量动态的时间序列特征，以捕捉爆发的早期信号。
• 采用五种回归模型——线性回归、CART、GPR、SVR和神经网络——预测爆发时间、持续时间和衰减过程。

实验结果

研究问题

• RQ1 哪些话题标签将发生爆发，且能在多早的时间点实现实时预测？
• RQ2 爆发话题标签将在何时达到活动峰值（爆发开始），并持续多长时间？
• RQ3 爆发后多久话题标签会开始衰减，哪些信号可指示其衰退？
• RQ4 哪些类型的特征——尤其是时间序列特征——在预测爆发动态方面最为有效？
• RQ5 在不同预测时延（如5分钟至6小时）下，哪些机器学习模型表现最佳？

主要发现

• SVR模型在大多数预测任务中表现最佳，1小时预测的RMSE为1.315。
• GPR在5分钟、30分钟和1小时预测中表现优于其他模型，RMSE最低，为1.376。
• 爆发开始时间的预测性能呈U型趋势：中期阶段（如2–4小时）最差，早期和晚期阶段最佳。
• 5分钟预测任务的不确定性最高，随着预测时延增加，性能先下降后回升。
• 时间序列特征显著提升了预测准确性，尤其在爆发开始的早期检测中效果明显。
• 每日话题标签中仅有约0.6%（约25个，总计约40万个）发生爆发，且其中极少数可实现实时高置信度预测。