[论文解读] Non-Parametric Graph Learning for Bayesian Graph Neural Networks

Soumyasundar Pal, Saber Malekmohammadi+4 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Graph Neural Networks参考文献 44被引用 6

一句话总结

本文提出了一种非参数贝叶斯图学习框架，通过将邻接矩阵建模为随机变量，并利用任务特定的距离度量引导边权重分配，从而推断图结构中的不确定性。该方法通过从噪声或不完美的数据中学习更准确的图结构，在节点分类、链接预测和推荐任务中提升了性能，在基准数据集上显著提高了准确率和召回率，同时在大规模图上保持高效可扩展性。

ABSTRACT

Graphs are ubiquitous in modelling relational structures. Recent endeavours in machine learning for graph-structured data have led to many architectures and learning algorithms. However, the graph used by these algorithms is often constructed based on inaccurate modelling assumptions and/or noisy data. As a result, it fails to represent the true relationships between nodes. A Bayesian framework which targets posterior inference of the graph by considering it as a random quantity can be beneficial. In this paper, we propose a novel non-parametric graph model for constructing the posterior distribution of graph adjacency matrices. The proposed model is flexible in the sense that it can effectively take into account the output of graph-based learning algorithms that target specific tasks. In addition, model inference scales well to large graphs. We demonstrate the advantages of this model in three different problem settings: node classification, link prediction and recommendation.

研究动机与目标

• 为解决现有图神经网络假设观测图是完美表示的局限性，尽管存在噪声和虚假边。
• 开发一种灵活的非参数贝叶斯框架，将图结构视为不确定，并学习邻接矩阵的后验分布。
• 实现可扩展的图推理，超越参数化模型，并与现有图学习算法集成。
• 通过不确定性感知学习优化图结构，从而提升下游任务——节点分类、链接预测和推荐——的性能。

提出的方法

• 该方法基于成对节点距离，使用非参数先验将图邻接矩阵建模为随机变量，其中距离较近的节点被赋予更高的边权重。
• 采用任务特定的距离度量（如推荐任务中的余弦距离）来引导边的概率，实现灵活且面向应用的图构建。
• 推理过程使用变分近似来近似邻接矩阵的后验分布，从而实现在大规模图上的可扩展学习。
• 通过优化负边池（移除高权重的虚假负样本）与现有图学习算法集成，再进行最终模型训练。
• 该框架应用于监督（节点分类）和无监督（链接预测、推荐）设置，支持端到端贝叶斯训练。
• 该方法利用高效的图学习技术（如近似最近邻）在保持可扩展性的同时提升图质量。

实验结果

研究问题

• RQ1 非参数贝叶斯框架是否能在不依赖严格参数假设的前提下，有效建模图结构中的不确定性？
• RQ2 将学习到的图不确定性整合后，是否能提升节点分类、链接预测和推荐任务的性能？
• RQ3 任务特定的距离度量在多大程度上能提升推断图结构的质量和相关性？
• RQ4 所提出的方法是否能在大规模图上实现有效扩展，同时保持或超越基线性能？
• RQ5 该框架是否能通过识别并移除虚假负样本，减少隐式推荐系统中的过拟合并改善收敛性？

主要发现

• 在节点分类任务中，所提出的贝叶斯模型在低数据场景下表现优于基线模型，显示出对标签稀缺的更强鲁棒性。
• 在链接预测任务中，将图学习步骤整合进变分自编码器模型后性能得到提升，表明不确定性感知图推理具有实际价值。
• 在推荐任务中，贝叶斯模型（BMGCCF 和 BNGCF）相比基线模型（MGCCF 和 NGCF）显著提升了召回率，其中 BNGCF 在 Amazon-Books 数据集上达到 31.4% 的 Recall@20。
• 在 ML-100K 数据集上，该方法效果较弱，原因在于图密度较高，表明其优势在稀疏或噪声较大的图中更为显著。
• 在 ML-100K 数据集中，该贝叶斯框架成功从测试集负样本池中移除了 62.1% 的边，证实其识别并消除虚假负样本的能力。
• 训练曲线显示，贝叶斯版本（BMGCCF）收敛更快且过拟合更少，表明优化稳定性得到改善。