[论文解读] New methods to generate massive synthetic networks

Malay Chakrabarti, Lenwood S. Heath+1 more|arXiv (Cornell University)|May 23, 2017

Complex Network Analysis Techniques参考文献 21被引用 4

一句话总结

本文提出了三种新算法——Synth、SAGE 和 SIEGE——用于生成具有任意度分布的大型合成网络，同时保持关键的宏观网络特性。通过利用残差度衰减机制，SIEGE 在复制现实世界拓扑特征（如度分布、聚类系数、跳数长度和 k-core 结构）方面优于现有方法，在 25 个真实世界数据集上展现出更优的稳定性和保真度。

ABSTRACT

One of the biggest needs in network science research is access to large realistic datasets. As data analytics methods permeate a range of diverse disciplines---e.g., computational epidemiology, sustainability, social media analytics, biology, and transportation--- network datasets that can exhibit characteristics encountered in each of these disciplines becomes paramount. The key technical issue is to be able to generate synthetic topologies with pre-specified, arbitrary, degree distributions. Existing methods are limited in their ability to faithfully reproduce macro-level characteristics of networks while at the same time respecting particular degree distributions. We present a suite of three algorithms that exploit the principle of residual degree attenuation to generate synthetic topologies that adhere to macro-level real-world characteristics. By evaluating these algorithms w.r.t. several real-world datasets we demonstrate their ability to faithfully reproduce network characteristics such as node degree, clustering coefficient, hop length, and k-core structure distributions.

研究动机与目标

• 解决在流行病学、社交媒体和交通等多样化领域中，支持研究对大规模、真实感合成网络数据集的迫切需求。
• 识别现有网络生成方法的局限性，特别是 DEG 算法在任意度分布下无法保持三角闭包等宏观属性。
• 开发稳定且可扩展的算法，真实再现关键网络特性，包括度分布、聚类系数、最短路径分布和 k-core 结构。
• 确保合成网络在隐私保护模拟和“如果……会怎样”情景分析中保持与现实世界拓扑行为的一致性。

提出的方法

• 引入一种安全基线模型 Synth，通过避免网络生成过程中的收敛问题，相比 DEG 方法提升了稳定性。
• 提出 SAGE 和 SIEGE 作为基于残差度衰减原理的高级模型，通过动态调整边形成概率以保持结构特性。
• 采用两阶段流程：首先根据用户指定的分布为节点分配目标度数；其次迭代形成边，同时对残差度数进行衰减，以防止过度连接并保持结构真实性。
• 应用度数衰减函数，降低高残差度节点之间形成边的可能性，从而模拟自然网络增长模式（如三角闭包）。
• 使用涵盖 25 个真实世界数据集的综合评估框架验证模型，测量其在度分布、聚类系数、跳数长度和 k-core 结构方面的匹配度。
• 引入迭代边重连和局部优化技术，以增强收敛性和稳定性，尤其在具有重尾度分布的大规模网络中表现更优。

实验结果

研究问题

• RQ1 合成网络生成方法能否在保持其他宏观结构特性的同时，忠实再现现实世界网络的度分布？
• RQ2 现有方法（如 DEG）在任意度分布下为何会失败于保持三角闭包和聚类行为？
• RQ3 所提出的模型（Synth、SAGE、SIEGE）在多大程度上能复制现实世界网络特性，如聚类系数、最短路径分布和 k-core 结构？
• RQ4 残差度衰减原理是否相比先前方法能带来更稳定、更真实的网络生成效果？
• RQ5 在动态模拟（如 SIR 流行病传播）中，合成网络的表现与真实世界数据相比如何？

主要发现

• 在全部 25 个真实世界数据集中，SIEGE 在复制重尾度分布方面优于 Synth 和 DEG，尤其在合作网络和自治系统网络中达到最精确拟合。
• SIEGE 在真实世界局部聚类系数分布上达到最接近匹配，尤其在 com-LiveJournal 和 ca-Gr-Qc 等数据集中表现突出，如对数-对数图所示。
• SIEGE 生成的合成网络中，最短路径分布与现实世界网络中观察到的单峰或弱双峰趋势高度一致，尤其在 oregon010331 和 oregon010414 数据集中表现出强一致性。
• SIEGE 有效捕捉了 k-core 结构分布，显示参与 k-core 的节点数和边数随 k 增加而减少，与所有评估数据集中的现实世界行为一致。
• 在 SIR 模拟实验中，SAGE 产生的流行病传播动态最接近真实情况，其次为 Synth，最后为 SIEGE，表明 SAGE 在动态过程中的行为保真度更优。
• 这些模型在大规模场景下仍保持高度稳定性，SIEGE 避免了 DEG 方法在大规模网络生成中常见的收敛失败问题。