[论文解读] Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction

Eli Chien, Wei-Cheng Chang+5 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Graph Neural Networks被引用 14

一句话总结

该论文提出GIANT，一种自监督框架，通过多尺度邻域预测利用图拓扑增强节点特征提取，采用eXtreme Multi-label Classification（XMC）形式化和XR-Transformers。在ogbn-papers100M上，其下游GNN性能提升最高达1.42%，MLP性能提升13.86%，GraphSAGE性能提升3.1%，在多种图基准测试中展现出良好的可扩展性和鲁棒性。

ABSTRACT

Learning on graphs has attracted significant attention in the learning community due to numerous real-world applications. In particular, graph neural networks (GNNs), which take numerical node features and graph structure as inputs, have been shown to achieve state-of-the-art performance on various graph-related learning tasks. Recent works exploring the correlation between numerical node features and graph structure via self-supervised learning have paved the way for further performance improvements of GNNs. However, methods used for extracting numerical node features from raw data are still graph-agnostic within standard GNN pipelines. This practice is sub-optimal as it prevents one from fully utilizing potential correlations between graph topology and node attributes. To mitigate this issue, we propose a new self-supervised learning framework, Graph Information Aided Node feature exTraction (GIANT). GIANT makes use of the eXtreme Multi-label Classification (XMC) formalism, which is crucial for fine-tuning the language model based on graph information, and scales to large datasets. We also provide a theoretical analysis that justifies the use of XMC over link prediction and motivates integrating XR-Transformers, a powerful method for solving XMC problems, into the GIANT framework. We demonstrate the superior performance of GIANT over the standard GNN pipeline on Open Graph Benchmark datasets: For example, we improve the accuracy of the top-ranked method GAMLP from $68.25\\%$ to $69.67\\%$, SGC from $63.29\\%$ to $66.10\\%$ and MLP from $47.24\\%$ to $61.10\\%$ on the ogbn-papers100M dataset by leveraging GIANT.

研究动机与目标

• 解决标准GNN流程中因节点特征提取与图无关而导致的次优性能问题。
• 将图拓扑信息整合到类似BERT的预训练语言模型中，以改善节点表征学习。
• 开发一种可扩展的自监督框架，利用邻域预测作为预训练任务。
• 从理论上证明在图引导的表征学习中，使用XMC优于链接预测。
• 在大规模图基准测试（如ogbn-papers100M）上展示GIANT的有效性和可扩展性。

提出的方法

• 提出一种新颖的自监督任务——多尺度邻域预测，将每个节点的邻域编码为二值多标签向量。
• 将邻域预测任务映射到eXtreme Multi-label Classification（XMC）问题，从而可使用最先进的XMC求解器（如XR-Transformers）。
• 利用来自原始节点特征（如TF-IDF）和图结构的PIFA（Pairwise Interaction Feature Aggregation）嵌入，指导分层聚类以构建邻域。
• 使用XMC目标微调预训练的BERT模型，生成图感知的节点特征，随后作为下游GNN的输入。
• 采用多尺度聚类策略，捕捉不同距离下的邻域信息，提升异构图中表征的质量。
• 集成XR-Transformer模型，高效处理XMC固有的大规模多标签预测任务，确保在十亿节点图上的可扩展性。

实验结果

研究问题

• RQ1 基于图结构的自监督能否在节点特征提取方面超越与图无关的方法（如BERT或TF-IDF）？
• RQ2 在图引导的自监督节点表征学习中，XMC是否比链接预测更有效？
• RQ3 在特征学习中同时整合原始节点属性与图拓扑信息，对下游GNN性能有何影响？
• RQ4 所提出的GIANT框架能否在大规模图（如ogbn-papers100M）上保持性能增益的同时实现可扩展性？
• RQ5 分层聚类和PIFA嵌入在邻域预测质量与下游准确率方面分别起到何种贡献？

主要发现

• 在ogbn-papers100M数据集上，GIANT-XRT将最先进方法GAMLP-RLU的准确率从68.25%提升至69.67%，相对提升1.42%。
• 在ogbn-papers100M上，GIANT-XRT将MLP性能从47.24%提升至61.10%，相对提升13.86%，在某些情况下优于更复杂的GNN模型。
• 在ogbn-papers100M上，GIANT-XRT将SGC准确率从63.29%提升至66.10%，将GraphSAGE准确率从65.73%提升至68.83%，表明在各类模型上均实现稳定增益。
• 消融实验表明，结合TF-IDF特征与PIFA构建的图邻域可获得最佳性能，而NO TFIDF+NO PIFA组合表现最差。
• 在ogbn-products上，使用链接预测微调的BERT（BERT+LP）性能低于GIANT，表明邻域预测在自监督中比链接预测更具鲁棒性。
• GIANT-XRT具有高度可扩展性，在多个OGB基准测试（包括ogbn-arxiv和ogbn-products）上均实现一致性能增益，其中在ogbn-products上MLP性能最高提升18.76%。