[论文解读] Understanding the Predictive Power of Computational Mechanics and Echo State Networks in Social Media

David Darmon, Jared Sylvester+2 more|arXiv (Cornell University)|Jun 26, 2013

Neural Networks and Reservoir Computing参考文献 22被引用 4

一句话总结

本文利用为期7周的15,000名用户的推特数据集，研究了计算力学与回声状态网络在建模推特用户行为方面的预测能力。两种方法均能有效将用户行为建模为具有记忆依赖性的点过程，大多数用户的表现相似，但在具有不同行为结构的用户中表现出差异，凸显了在动态社交数据中结构保真度与适应性之间的权衡。

ABSTRACT

There is a large amount of interest in understanding users of social media in order to predict their behavior in this space. Despite this interest, user predictability in social media is not well-understood. To examine this question, we consider a network of fifteen thousand users on Twitter over a seven week period. We apply two contrasting modeling paradigms: computational mechanics and echo state networks. Both methods attempt to model the behavior of users on the basis of their past behavior. We demonstrate that the behavior of users on Twitter can be well-modeled as processes with self-feedback. We find that the two modeling approaches perform very similarly for most users, but that they differ in performance on a small subset of the users. By exploring the properties of these performance-differentiated users, we highlight the challenges faced in applying predictive models to dynamic social data.

研究动机与目标

• 理解计算力学与回声状态网络在建模社交媒体用户行为方面的预测能力。
• 检验不同建模范式在真实社交媒体数据中对不同用户画像的表现差异。
• 评估这些模型对用户行为中噪声和时间变异性的鲁棒性。
• 探讨仅基于过去行为建模用户行为的局限性，而不引入社交网络效应或内容特征。
• 为未来工作奠定基础，将外生输入和内容特征整合到用户动态预测模型中。

提出的方法

• 通过将推文时间戳按1秒间隔分箱，构建二值时间序列，其中1表示至少有一条推文，0表示无推文。
• 应用计算力学，通过识别捕捉过去行为最小充分统计量的因果状态，从简单到复杂逐步构建概率模型。
• 训练回声状态网络，通过优化内部储备池权重，基于过去输入预测未来状态，以学习二值时间序列的动力学。
• 通过在未见未来时间窗口上的预测准确率评估两种模型，性能使用标准指标（如预测误差或对数似然）进行衡量。
• 在用户之间进行模型比较，识别出一种方法优于另一种方法的子集，重点关注用户行为在结构和动态上的差异。
• 研究假设条件平稳性，并通过在不相交时间区间上的评估来检验该假设的稳定性。

实验结果

研究问题

• RQ1 在为期7周的时间内，计算力学与回声状态网络在预测推特用户行为方面表现如何比较？
• RQ2 是否存在某些用户画像，使得一种建模方法始终优于另一种？
• RQ3 计算力学的结构简洁性与回声状态网络的自适应复杂性在多大程度上影响预测性能？
• RQ4 这两种模型对用户行为中的噪声和时间变异性的鲁棒性如何？
• RQ5 潜在行为状态在决定这些模型预测能力方面起什么作用？

主要发现

• 在大多数用户中，两种建模方法表现极为相似，表明两者均能有效将推特用户行为建模为具有记忆依赖性的点过程。
• 在少数用户中出现了性能差异，计算力学在具有高度结构化、稳定行为模式的用户中表现优于回声状态网络。
• 回声状态网络在动态或变化较大的用户行为中表现出更强的适应性，尽管其捕捉深层结构洞察的能力较弱。
• 两种模型对噪声均表现出鲁棒性，并在性能上呈现渐进式退化，表明其在真实社交媒体数据中具有实际应用价值。
• 结果表明，大多数用户仅表现出少数几个潜在行为状态，这解释了用户群体中模型性能高度相似的原因。
• 本研究强调了未来工作中需引入外生因素（如网络效应和内容特征）以进一步提升预测准确性。