[论文解读] Neural Diffusion Model for Microscopic Cascade Prediction

Cheng Yang, Maosong Sun+4 more|arXiv (Cornell University)|Dec 21, 2018

Complex Network Analysis Techniques参考文献 43被引用 16

一句话总结

本文提出了一种神经扩散模型（NDM）用于微观级级联预测，通过利用注意力机制和卷积网络，放松了传统模型的强假设，以捕捉复杂的用户级扩散动态。该模型在四个真实世界数据集上，相较于最先进基线模型，F1分数最高提升26%，展现出在早期阶段预测中的优越性能与泛化能力。

ABSTRACT

The prediction of information diffusion or cascade has attracted much attention over the last decade. Most cascade prediction works target on predicting cascade-level macroscopic properties such as the final size of a cascade. Existing microscopic cascade prediction models which focus on user-level modeling either make strong assumptions on how a user gets infected by a cascade or limit themselves to a specific scenario where "who infected whom" information is explicitly labeled. The strong assumptions oversimplify the complex diffusion mechanism and prevent these models from better fitting real-world cascade data. Also, the methods which focus on specific scenarios cannot be generalized to a general setting where the diffusion graph is unobserved. To overcome the drawbacks of previous works, we propose a Neural Diffusion Model (NDM) for general microscopic cascade prediction. NDM makes relaxed assumptions and employs deep learning techniques including attention mechanism and convolutional network for cascade modeling. Both advantages enable our model to go beyond the limitations of previous methods, better fit the diffusion data and generalize to unseen cascades. Experimental results on diffusion prediction task over four realistic cascade datasets show that our model can achieve a relative improvement up to 26% against the best performing baseline in terms of F1 score.

研究动机与目标

• 为解决现有微观级级联预测模型依赖于关于用户感染机制的强而简化的假设所带来的局限性。
• 实现在扩散图未被观测到的真实世界场景中的泛化能力，与以往需要明确‘谁感染了谁’信息的方法不同。
• 通过深度学习技术提升早期级联预测的准确性与鲁棒性。
• 建模无法被静态概率模型（如独立级联模型）捕捉的复杂非马尔可夫用户级扩散动态。
• 通过分析学习到的注意力权重与卷积投影矩阵，增强可解释性，将结构模式与预测行为关联起来。

提出的方法

• 该模型使用多头注意力机制，将用户嵌入向量投影到16个子空间中，每个子空间代表用户在扩散过程中的不同角色或影响模式。
• 一维卷积网络处理最近被感染用户的序列，每个位置（如t, t-1, t-2）配备可学习的投影矩阵，以衡量其对下一次感染的贡献。
• 模型包含一个初始用户嵌入，并带有可学习的缩放因子；投影矩阵的相对大小（通过弗罗贝尼乌斯范数衡量）揭示了每个时间步在预测中的重要性。
• 注意力机制使模型能够动态关注相关用户特征与角色，从而在不依赖人工设计特征的情况下提升表征学习能力。
• 该架构通过端到端方式在级联序列上进行训练，以预测下一个被感染用户，损失函数通过下一时间步预测任务的交叉熵进行优化。
• 该模型设计具备良好的泛化能力，无需事先知晓扩散图，因此适用于产品采用或病毒传播等场景，其中感染链未被观测到。

实验结果

研究问题

• RQ1 当放松对感染概率的强假设时，基于深度学习的模型是否能在微观级级联预测中超越传统级联模型？
• RQ2 注意力机制与卷积网络在多大程度上能够建模真实世界级联数据中的复杂非马尔可夫用户级扩散动态？
• RQ3 近期被感染用户（如最新一次 vs. 第二近一次）的相对贡献如何影响预测准确性？这种影响能否通过学习到的模型参数进行量化？
• RQ4 初始用户是否在预测未来感染中起主导作用？这种主导性在不同数据分布（如Twitter与其他网络）中是否有所不同？
• RQ5 学习到的模型参数（如投影矩阵的范数）是否能提供对底层扩散过程的可解释性洞察？

主要发现

• 神经扩散模型在四个真实世界数据集上的扩散预测任务中，相较最佳基线模型，F1分数最高提升26%。
• 对最新被感染用户（W₀ᶜ）学习到的投影矩阵尺度始终大于对更早用户（W₁ᶜ, W₂ᶜ）的矩阵，证实近期用户对下一步预测的贡献更大。
• 在Twitter数据集中，初始用户嵌入投影矩阵（W_initᶜ）的弗罗贝尼乌斯范数最大，表明其在扩散过程中起主导作用，可能归因于URL传播的完整历史。
• 该模型在未见过的级联事件上泛化良好，尤其在早期阶段预测中表现突出，而早期准确预测对现实世界应用最具价值。
• 注意力机制使模型能够在不依赖人工设计特征的情况下，学习到有意义且动态的用户角色表征，尽管完全可解释性仍是挑战。
• 即使初始用户并非真实源头，模型性能仍具有竞争力或更优，表明其对部分观测与数据窗口效应具有鲁棒性。