[论文解读] Nonparametric Multi-group Membership Model for Dynamic Networks

Myunghwan Kim, Jure Leskovec|arXiv (Cornell University)|Nov 8, 2013

Complex Network Analysis Techniques参考文献 30被引用 28

一句话总结

本文提出了一种用于动态网络的非参数多群组成员模型，通过距离依赖印度餐厅过程（distance-dependent Indian Buffet Process）和因子隐藏马尔可夫模型，联合建模群组的诞生/消亡、节点群组成员动态变化以及群组间连通性。该模型通过显式建模随时间演化的群组结构与时间动态，在链接预测和未来网络预测任务中达到最先进性能。

ABSTRACT

Relational data-like graphs, networks, and matrices-is often dynamic, where the relational structure evolves over time. A fundamental problem in the analysis of time-varying network data is to extract a summary of the common structure and the dynamics of the underlying relations between the entities. Here we build on the intuition that changes in the network structure are driven by the dynamics at the level of groups of nodes. We propose a nonparametric multi-group membership model for dynamic networks. Our model contains three main components: We model the birth and death of individual groups with respect to the dynamics of the network structure via a distance dependent Indian Buffet Process. We capture the evolution of individual node group memberships via a Factorial Hidden Markov model. And, we explain the dynamics of the network structure by explicitly modeling the connectivity structure of groups. We demonstrate our model's capability of identifying the dynamics of latent groups in a number of different types of network data. Experimental results show that our model provides improved predictive performance over existing dynamic network models on future network forecasting and missing link prediction.

研究动机与目标

• 通过捕捉随时间变化的潜在群组成员关系，建模网络结构的动态演化。
• 通过引入非参数方法自适应学习群组数量，解决现有模型中群组数量固定的局限性。
• 通过显式建模群组生命周期与群组间连通性，提升链接预测与网络预测的性能。
• 通过识别与现实世界网络动态一致的有意义、随时间演化的群组，增强模型的可解释性。
• 动态建模群组内与群组间关系，实现更灵活且准确的网络结构表征。

提出的方法

• 使用距离依赖印度餐厅过程（dd-IBP）建模随时间演化的潜在群组诞生与消亡，允许潜在群组数量无限。
• 采用因子隐藏马尔可夫模型（FHMM）捕捉每个节点在多个重叠群组中的时间演化成员关系。
• 将网络连通性建模为群组成员关系的函数，其中链接依赖于群组内与群组间成员关系。
• 提出一种生成过程，将群组动态、节点成员演化与网络结构统一整合到一个概率框架中。
• 采用基于MCMC的推断方法，从观测到的动态网络快照中估计潜在群组成员关系、群组生命周期与模型参数。
• 通过基于群组成员指示变量在每个时间点建模二值邻接矩阵，支持有向与无向网络。

实验结果

研究问题

• RQ1 如何在允许群组诞生与消亡的前提下，建模时变网络中潜在群组的动态演化？
• RQ2 是否一种允许每个节点具有多个群组成员的非参数模型，能在缺失链接预测与未来网络状态预测中优于参数模型？
• RQ3 与忽略群组动态的模型相比，显式建模群组连通性与生命周期在多大程度上提升了预测性能？
• RQ4 该模型在识别与现实世界网络叙事（如社交网络或基于故事的网络）一致的可解释、随时间演化的群组方面表现如何？
• RQ5 在传统模型表现不佳的稀疏网络中，该模型是否仍能保持强性能？

主要发现

• 所提出的动态多群组成员图模型（DMMG）在缺失链接预测任务中达到最先进性能，NIPS数据集AUC为0.916，INFOCOM数据集AUC为0.976，显著优于LFP模型的AUC（约0.85与约0.95）。
• 在未来的网络预测任务中，DMMG在INFOCOM数据集上取得最高AUC（0.804）与F1分数（0.392），显著优于DRIFT与LFRM模型。
• DMMG在稀疏网络中表现出最强的性能提升，表明其具有更强鲁棒性，并通过主动建模群组动态更好地利用了时间信息。
• 在《魔戒》社交网络案例研究中，模型成功识别出三个结构一致、与剧情主线对应的主题群组：洛汗/亚拉冈群组、弗罗多/山姆/史麦戈群组，以及梅里/皮聘/树人群组。
• 模型捕捉群组动态的能力（如在时间t=2时梅里与皮聘群组的出现）展示了其可解释性，并与叙事事件高度一致。
• 尽管DRIFT在NIPS数据集上获得了更高的对数似然值，但DMMG在AUC与F1指标上全面超越所有基线模型，表明其在预测能力上更优，即使在某些情况下对数似然值略高。