[论文解读] Network Inference from Temporal-Dependent Grouped Observations

Yunpeng Zhao|arXiv (Cornell University)|Aug 25, 2018

Complex Network Analysis Techniques被引用 3

一句话总结

本文提出了一种新颖的模型，用于从具有时间依赖性的分组观测数据中推断潜在社会网络，其中群体领导者遵循马尔可夫链，相邻群体之间存在相关性。通过使用基于前向后向算法的多项式时间E步的EM算法，该方法在独立分组假设的基础上提升了网络推断性能，经模拟实验验证，并应用于黑猩猩社会数据，显著提高了准确性。

ABSTRACT

In social network analysis, the observed data is usually some social behavior, such as the formation of groups, rather than an explicit network structure. Zhao and Weko (2017) propose a model-based approach called the hub model to infer implicit networks from grouped observations. The hub model assumes independence between groups, which sometimes is not valid in practice. In this article, we generalize the idea of the hub model into the case of grouped observations with temporal dependence. As in the hub model, we assume that the group at each time point is gathered by one leader. Unlike in the hub model, the group leaders are not sampled independently but follow a Markov chain, and other members in adjacent groups can also be correlated. An expectation-maximization (EM) algorithm is developed for this model and a polynomial-time algorithm is proposed for the E-step. The performance of the new model is evaluated under different simulation settings. We apply this model to a data set of the Kibale Chimpanzee Project.

研究动机与目标

• 为解决现有网络推断方法在社交网络分析中假设分组观测之间相互独立的局限性。
• 通过允许群体领导者遵循马尔可夫链，对分组数据中的时间依赖性进行建模，以捕捉动态社会结构。
• 在时间依赖条件下，开发一种计算高效的潜在网络估计推断程序。
• 将枢纽模型扩展以纳入相邻群体之间的相关性，提升网络重构的真实性。
• 在模拟数据和真实世界动物分组行为数据（如基巴莱黑猩猩项目）上验证该模型。

提出的方法

• 使用潜马尔可夫链对群体领导者建模，以允许网络结构中的时间依赖性。
• 引入一种分层模型，其中每个群体由一个个体领导，其他成员在给定领导者和先前群体状态的条件下进行条件依赖建模。
• 采用期望-最大化（EM）算法进行参数估计，其中E步使用隐马尔可夫模型的前向后向算法，实现多项式时间复杂度。
• 推导E步的充分统计量，包括领导者状态转移次数和不同时刻的共现次数。
• 使用类似逻辑回归的链接函数对边概率建模，引入参数以表征领导者影响力、组间相关性及边强度。
• 推导完整数据对数似然函数的一阶与二阶导数的闭式表达式，以支持M步中使用牛顿-拉夫森法进行优化。

实验结果

研究问题

• RQ1 能否有效建模分组观测中的时间依赖性，从而在独立同分布假设之外提升潜在网络推断的准确性？
• RQ2 将群体领导者建模为马尔可夫链，如何提升推断社会网络的准确性？
• RQ3 在时间依赖条件下，使用具有可 tractable E步的EM算法进行网络推断在计算上是否可行？
• RQ4 与独立分组模型相比，相邻群体之间的相关性如何影响网络估计的质量？
• RQ5 所提出的模型能否在真实世界动物分组数据（如黑猩猩社会关系）中成功恢复已知的社会结构？

主要发现

• 在存在时间依赖性的模拟环境中，所提模型相比独立枢纽模型显著提升了网络推断的准确性。
• 采用前向后向算法作为E步的EM算法实现了多项式时间复杂度，使该方法可扩展至大规模网络。
• 该模型成功捕捉了基巴莱黑猩猩项目数据中的时间动态，揭示了比独立同分布模型更真实的社交结构。
• 引入领导者马尔可夫依赖性与组间相关性，使网络估计更加稳定且可解释。
• 导出的导数表达式支持通过牛顿-拉夫森法实现高效优化，确保在实际时间内收敛。
• 在时间依赖条件下，该模型在恢复真实网络结构方面优于共现法与半权重指数法。