[论文解读] Simulation and Augmentation of Social Networks for Building Deep Learning Models

Akanda Wahid -Ul- Ashraf, Marcin Budka+1 more|arXiv (Cornell University)|May 22, 2019

Advanced Graph Neural Networks被引用 8

一句话总结

本论文提出了一种基于潜在的'social DNA'（sDNA）模型的框架，用于模拟具有真实标签的动态、特征丰富的社交网络，从而为图卷积网络（GCNs）生成高质量的训练数据。该框架引入了四种新型GCN变体，减少了对层序邻域传播的依赖，在30个模拟数据集中的27个上优于原始GCN，方法包括基于拓扑的节点相似性增强和加权特征矩阵，同时提供了一个开源的GPU加速模拟库。

ABSTRACT

A limitation of the Graph Convolutional Networks (GCNs) is that it assumes at a particular $l^{th}$ layer of the neural network model only the $l^{th}$ order neighbourhood nodes of a social network are influential. Furthermore, the GCN has been evaluated on citation and knowledge graphs, but not extensively on friendship-based social graphs. The drawback associated with the dependencies between layers and the order of node neighbourhood for the GCN can be more prevalent for friendship-based graphs. The evaluation of the full potential of the GCN on friendship-based social network requires openly available datasets in larger quantities. However, most available social network datasets are not complete. Also, the majority of the available social network datasets do not contain both the features and ground truth labels. In this work, firstly, we provide a guideline on simulating dynamic social networks, with ground truth labels and features, both coupled with the topology. Secondly, we introduce an open-source Python-based simulation library. We argue that the topology of the network is driven by a set of latent variables, termed as the social DNA (sDNA). We consider the sDNA as labels for the nodes. Finally, by evaluating on our simulated datasets, we propose four new variants of the GCN, mainly to overcome the limitation of dependency between the order of node-neighbourhood and a particular layer of the model. We then evaluate the performance of all the models and our results show that on 27 out of the 30 simulated datasets our proposed GCN variants outperform the original model.

研究动机与目标

• 为图上的深度学习模型训练与评估解决完整、带标签且特征丰富的社交网络数据集稀缺的问题。
• 开发一种系统化的动态社交网络模拟框架，基于潜在的社交DNA（sDNA）模型，整合网络拓扑、节点特征与真实标签。
• 设计并评估新型GCN变体，以克服标准GCN在友谊型社交网络中固有的层序邻域依赖问题。
• 提供一个开源的、支持GPU加速的Python库，用于可扩展地模拟具有可配置特征与标签的合成社交网络。

提出的方法

• 提出一种社交网络模拟框架，其中网络拓扑由称为'social DNA'（sDNA）的潜在节点级属性驱动，这些属性作为真实标签。
• 引入一种基于节点相似性的增强技术，利用Katz、RPR和GG得分，为同一张图创建多种拓扑表示，以增强模型泛化能力。
• 开发四种新型GCN变体：(1) 使用拓扑编码的相似性矩阵（Katz/RPR/GG）的GCN，(2) 使用与节点无关的可学习全局特征参数的GCN，(3) 使用加权特征矩阵以反映特征重要性的GCN，以及(4) 通过低秩近似权重矩阵来减少仅基于拓扑模型的过拟合。
• 对节点相似性矩阵实施重构技术，以生成增强的图样本，作为正则化手段，防止训练过程中的过拟合。
• 采用基于阈值的选择过程对节点相似性矩阵进行处理，以生成多样化的训练样本，评估中采用经验选择的阈值。
• 开发并开源一个支持GPU加速和多进程的Python库（VirtualSoc），用于可扩展地模拟具有自定义特征与标签的合成社交网络。

实验结果

研究问题

• RQ1 合成社交网络模拟框架能否生成反映现实社交网络动态的、完整且包含节点特征与真实标签的逼真数据集？
• RQ2 与标准GCN相比，解耦邻域依赖与层序关系的GCN变体在友谊型社交网络上的性能提升程度如何？
• RQ3 将拓扑编码的节点相似性（Katz、RPR、GG）与加权特征矩阵相结合，在合成社交网络数据上对GCN性能的增强效果如何？
• RQ4 通过不同阈值和相似性度量生成的增强节点相似性矩阵，能否作为正则化数据增强技术，有效提升GCN的泛化能力？
• RQ5 在何种条件下，仅基于拓扑的GCN模型会优于同时包含拓扑与特征的模型？这种现象能否通过低秩权重矩阵近似等架构改进来缓解？

主要发现

• 所提出的GCN变体在30个模拟数据集中的27个上优于原始GCN，显著提升了节点分类准确率。
• 使用加权特征矩阵的GCN变体在30个数据集中的27个上表现优于仅基于拓扑的模型，证实了特征集成过程的有效性。
• 在三个数据集中，仅基于拓扑的模型优于特征+拓扑模型，表明特征可能在拓扑中冗余或编码不佳；该问题通过引入低秩权重矩阵近似得到缓解，从而减少过拟合。
• 使用多种增强的节点相似性矩阵（通过阈值化和相似性度量生成）显著提升了模型泛化能力，并作为有效的正则化手段，降低了GCN训练中的过拟合。
• 所提出的模拟框架成功生成了合成网络，其中sDNA模型支持可预测且标签一致的节点分类，验证了合成数据的真实性与实用性。
• 开源的VirtualSoc库支持高性能、GPU加速的大规模动态社交网络模拟，具备可配置的特征与标签，为图深度学习的未来研究提供了支持。