[论文解读] Topological Recurrent Neural Network for Diffusion Prediction

Jia Wang, Vincent W. Zheng+2 more|arXiv (Cornell University)|Nov 28, 2017

Complex Network Analysis Techniques参考文献 2被引用 15

一句话总结

本文提出Topo-LSTM，一种新颖的拓扑循环神经网络，将信息传播建模为动态有向无环图（DAG），称为传播拓扑，以捕捉级联结构随时间的演化。通过显式建模激活的层次化与时间传播特性，Topo-LSTM在真实世界数据集上的平均平均精度（MAP）上相比最先进方法提升了20.1%–56.6%。

ABSTRACT

In this paper, we study the problem of using representation learning to assist information diffusion prediction on graphs. In particular, we aim at estimating the probability of an inactive node to be activated next in a cascade. Despite the success of recent deep learning methods for diffusion, we find that they often underexplore the cascade structure. We consider a cascade as not merely a sequence of nodes ordered by their activation time stamps; instead, it has a richer structure indicating the diffusion process over the data graph. As a result, we introduce a new data model, namely diffusion topologies, to fully describe the cascade structure. We find it challenging to model diffusion topologies, which are dynamic directed acyclic graphs (DAGs), with the existing neural networks. Therefore, we propose a novel topological recurrent neural network, namely Topo-LSTM, for modeling dynamic DAGs. We customize Topo-LSTM for the diffusion prediction task, and show it improves the state-of-the-art baselines, by 20.1%--56.6% (MAP) relatively, across multiple real-world data sets. Our code and data sets are available online at https://github.com/vwz/topolstm.

研究动机与目标

• 为解决现有深度学习模型在捕捉信息级联丰富结构动态特性方面存在的局限性，超越简单的节点顺序建模。
• 提出一种新型数据模型——传播拓扑，显式表示在数据图上信息随时间演化的传播过程，形成动态DAG。
• 设计一种神经架构Topo-LSTM，能够对这些动态DAG中的层次化与时间依赖关系进行建模，实现对未来激活的准确预测。
• 证明：在级联结构建模中超越顺序激活顺序的建模方式，可显著提升信息传播预测任务的性能。

提出的方法

• 提出传播拓扑作为新型数据模型，用于表示信息在数据图上的动态传播过程，其中活跃节点尝试激活其非活跃邻居，每个时间步形成一个有向无环图（DAG）。
• 设计Topo-LSTM，一种LSTM的专用变体，通过沿拓扑顺序传播隐藏状态，在动态DAG上运行，以保留级联结构中的因果依赖关系。
• 通过学习编码DAG中结构位置与时间传播模式的节点嵌入，对Topo-LSTM进行扩散预测定制化。
• 使用交叉熵损失端到端训练模型，以预测级联中下一个被激活的每个非活跃节点的概率。
• 采用拓扑排序机制，确保隐藏状态按正确的因果顺序计算，使网络能够尊重扩散过程的时间与结构约束。
• 将节点特征与边信息整合到Topo-LSTM的消息传递机制中，以增强表征学习能力。

实验结果

研究问题

• RQ1 将扩散级联的完整结构动态特性建模为动态DAG，是否能相比顺序模型或子图基模型，显著提升预测准确性？
• RQ2 Topo-LSTM在传播拓扑中捕捉层次化与因果依赖关系的能力，如何影响其在真实世界级联预测任务中的性能表现？
• RQ3 与现有最先进方法如Embedded-IC、IC-SB和DeepCas相比，所提模型在MAP与Hits@K指标上的性能提升程度如何？
• RQ4 Topo-LSTM的性能对隐藏表示维度与观测级联长度的敏感程度如何？
• RQ5 该模型在具有不同级联长度与网络特性的数据集之间是否具备良好的泛化能力？

主要发现

• 在所有评估数据集上，Topo-LSTM相比最佳现有基线模型，平均平均精度（MAP）提升20.1%–56.6%，展现出显著的性能增益。
• 在Digg与Memes数据集上，Topo-LSTM在Hits@K指标上相比最佳基线提升2.7%–42.3%，表明其在Top-K预测中表现优异。
• 在Twitter数据集上，Topo-LSTM的性能在隐藏维度为256时收敛，而Memes与Digg数据集上性能持续提升至512维，表明其随数据规模具有良好的可扩展性。
• 在Digg与Memes上，预测准确率随级联长度增加而下降，但在Twitter上未观察到此趋势，表明Twitter级联路径变异性更高，导致长序列预测可预测性降低。
• 所有数据集的训练时间均小于3小时，其中Digg数据集的预处理与模型训练分别在10分钟与140分钟内完成。
• Embedded-IC在Twitter数据集的Hits@{50,100}上表现更优，归因于其参数量更小且对过拟合更具鲁棒性，但在其他数据集上表现欠佳，凸显了对更丰富结构建模的需求。