[论文解读] Unsupervised Inductive Graph-Level Representation Learning via Graph-Graph Proximity

Yunsheng Bai, Hao Ding+6 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Graph Neural Networks参考文献 71被引用 19

一句话总结

UGraphEmb 提出了一种无监督、归纳式的图级别表征学习框架，通过多尺度节点注意力和图-图接近度度量（如图编辑距离 GED 和最大公共子图 MCS）来保留图与图之间的接近度。该方法在五个真实世界数据集上实现了图分类、相似性排序和可视化任务的最先进性能，且在预训练阶段无需标签。

ABSTRACT

We introduce a novel approach to graph-level representation learning, which is to embed an entire graph into a vector space where the embeddings of two graphs preserve their graph-graph proximity. Our approach, UGRAPHEMB, is a general framework that provides a novel means to performing graph-level embedding in a completely unsupervised and inductive manner. The learned neural network can be considered as a function that receives any graph as input, either seen or unseen in the training set, and transforms it into an embedding. A novel graph-level embedding generation mechanism called Multi-Scale Node Attention (MSNA), is proposed. Experiments on five real graph datasets show that UGRAPHEMB achieves competitive accuracy in the tasks of graph classification, similarity ranking, and graph visualization.

研究动机与目标

• 解决缺乏适用于未见图的无监督、归纳式图级别表征学习方法的问题。
• 开发一种框架，通过保留图-图接近度来学习图嵌入，而无需依赖图级别标签。
• 提出一种新颖的多尺度注意力机制，聚合不同图结构尺度下的节点嵌入。
• 实现类似于 NLP 预训练（如 BERT）的图数据预训练，随后通过微调用于下游任务。
• 证明在无标签情况下，使用领域无关的接近度度量（GED、MCS）作为监督信号的有效性。

提出的方法

• UGraphEmb 使用由成对图接近度得分（如 GED、MCS）构建的超图来定义图级别嵌入学习的监督信号。
• 采用多尺度节点注意力（MSNA）机制，将图同构网络（GIN）多个层次的节点嵌入进行组合，以捕捉不同尺度的结构信息。
• 该模型训练一个神经网络，将任意输入图（已见或未见）映射到一个固定维数的嵌入空间，同时保留原始图-图接近度。
• 该框架以无监督方式预训练，使用接近度度量作为监督信号，随后通过有监督损失进行微调，以应用于下游任务（如分类）。
• 使用 GED、MCS 和图核（GK）等接近度度量来定义监督信号，其中 GED 和 MCS 表现更优。
• 模型在不同 GIN 层的节点嵌入上使用可学习注意力机制，优于简单的平均或单层聚合。

实验结果

研究问题

• RQ1 能否通过保留图-图接近度，在完全无监督且归纳式的方式下学习图级别表征？
• RQ2 与单尺度或平均池化相比，多尺度节点嵌入聚合如何提升图级别表征质量？
• RQ3 不同的图接近度度量（GED、MCS、GK）对学习到的嵌入性能有何影响？
• RQ4 使用接近度信号进行预训练在多大程度上提升了下游任务（如图分类和相似性排序）的性能？
• RQ5 该框架能否泛化到训练过程中未出现的未见图？其结构相似性保留效果如何？

主要发现

• 当使用 GED 作为接近度度量时，UGraphEmb 在 ImdbM 数据集上实现了 50.06% 的图分类准确率，优于基线方法。
• 多尺度节点注意力（MSNA）机制达到最高性能（50.06% 准确率），显著优于简单平均（34.73%）和单层聚合（49.51%）。
• 使用 GED 或 MCS 作为接近度度量时，性能与基线相比表现相当且更优，而启发式图核（GK）仅达到 43.17% 的准确率。
• 在 MSNA 机制中增加 GIN 层的数量可提升性能，当使用五层时在 ImdbM 上达到峰值 50.67% 准确率。
• 该模型实现了有效的相似性排序与可视化，其嵌入保留了图-图接近度，并支持有意义的二维投影。
• 对保留接近度的嵌入进行微调后，下游分类任务的性能得到提升，证明了预训练范式的实用性。