[论文解读] One for All: Towards Training One Graph Model for All Classification Tasks

Hao Liu, Jiarui Feng+5 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用 6

一句话总结

本文提出 One for All (OFA)，首个统一的图基础模型，可在无需微调的情况下，对多样化的图任务（节点、链接、图级别）实现零样本、少样本及监督分类。OFA 通过文本属性图和共享语言模型统一跨域图数据并进行联合表征学习，利用关注节点和一种新颖的图提示范式实现任务泛化，并在引文网络、分子图、知识图谱和电商网络中均实现了强大的零样本性能。

ABSTRACT

Designing a single model to address multiple tasks has been a long-standing objective in artificial intelligence. Recently, large language models have demonstrated exceptional capability in solving different tasks within the language domain. However, a unified model for various graph tasks remains underexplored, primarily due to the challenges unique to the graph learning domain. First, graph data from different areas carry distinct attributes and follow different distributions. Such discrepancy makes it hard to represent graphs in a single representation space. Second, tasks on graphs diversify into node, link, and graph tasks, requiring distinct embedding strategies. Finally, an appropriate graph prompting paradigm for in-context learning is unclear. We propose extbf{One for All (OFA)}, the first general framework that can use a single graph model to address the above challenges. Specifically, OFA proposes text-attributed graphs to unify different graph data by describing nodes and edges with natural language and uses language models to encode the diverse and possibly cross-domain text attributes to feature vectors in the same embedding space. Furthermore, OFA introduces the concept of nodes-of-interest to standardize different tasks with a single task representation. For in-context learning on graphs, OFA introduces a novel graph prompting paradigm that appends prompting substructures to the input graph, which enables it to address varied tasks without fine-tuning. We train the OFA model using graph data from multiple domains (including citation networks, molecular graphs, knowledge graphs, etc.) simultaneously and evaluate its ability in supervised, few-shot, and zero-shot learning scenarios. OFA performs well across different tasks, making it the first general-purpose across-domains classification model on graphs.

研究动机与目标

• 开发一个单一图模型，使其能够跨多样化图任务（节点、链接、图级别）和领域（例如，引文、分子、知识图谱）实现泛化。
• 通过使用自然语言描述将不同领域中异构的图特征分布统一到共享嵌入空间，以克服该挑战。
• 通过设计一种通用的图提示范式（包含任务特定子结构），实现在图上无需微调的上下文学习。
• 通过关注节点和共享任务表征，将不同图任务统一于单一框架下。

提出的方法

• 提出文本属性图（TAGs），以自然语言描述节点和边，通过单一大型语言模型实现跨域特征嵌入。
• 引入关注节点（NOI），通过识别并聚焦于相关子结构，实现不同图学习任务间任务表征的标准化。
• 设计图提示范式（GPP），将任务特定子图（提示节点）附加到输入图上，直接将任务描述编码到图结构中。
• 使用统一目标，在来自不同领域（如 Cora、PubMed、HIV、FB15K237）的多个图数据集上联合训练单一 OFA 模型。
• 使用大型语言模型将节点、边和任务的文本描述编码到共享嵌入空间，实现跨域泛化。
• 对 NOI 嵌入使用平均池化进行分类，将任务描述拼接至最终表征以进行预测。

实验结果

研究问题

• RQ1 是否可以训练一个单一图模型，在无需任务特定微调的情况下，实现对多样化图任务和领域的零样本与少样本分类？
• RQ2 如何将来自不同领域（如引文、分子、知识图谱）的异构图数据统一到单一表征空间中？
• RQ3 一种有效且通用的图提示机制应如何设计，以实现对多种任务类型的图上下文学习？
• RQ4 与任务特定微调相比，联合训练多种任务类型和领域是否能提升泛化性能？
• RQ5 所提出的组件——文本属性图、关注节点和图提示——如何分别对零样本和少样本性能产生贡献？

主要发现

• OFA 在多样化图任务中实现了强大的零样本性能，包括节点级（Cora：48.72% 准确率）、链接级（FB15K237：63.99% AUC）和图级别（HIV：35.67% AUC）任务。
• 在 Cora 和 HIV 上，所有任务与领域联合训练（OFA-joint-lr）优于任务特定训练（OFA-ind-lr），表明知识迁移具有优势。
• 采用 NOI 子图的图提示范式在联合训练中保持了性能，而其他方法如“-Class node”则因任务混淆导致性能显著下降。
• 在 PCBA 数据集上，联合训练提升了零样本性能（60.62% AUC），但降低了少样本性能，表明联合学习中存在任务不平衡问题。
• 消融研究证实，图提示机制在多领域联合训练中对维持性能至关重要，因为它能消除任务特定信号的歧义。
• 使用文本属性图可实现有效的跨域表征学习，因为来自不同领域（如分子原子和电商商品）的 LLM 嵌入文本特征在共享空间中成功对齐。