[论文解读] Segmented Graph-Bert for Graph Instance Modeling

Jiawei Zhang|arXiv (Cornell University)|Feb 9, 2020

Advanced Graph Neural Networks参考文献 30被引用 5

一句话总结

本文提出 Seg-Bert，一种分段式图-BERT 架构，通过重新设计图-BERT 以实现顺序不变注意力、分段输入处理以及三种统一策略（全输入、填充/剪枝、分段移动），克服了图实例表示学习中节点顺序无序性和图大小可变性的问题。该方法在七个基准数据集中的六个上达到最先进性能，展示了在图实例建模任务中卓越的泛化能力和可迁移性。

ABSTRACT

In graph instance representation learning, both the diverse graph instance sizes and the graph node orderless property have been the major obstacles that render existing representation learning models fail to work. In this paper, we will examine the effectiveness of GRAPH-BERT on graph instance representation learning, which was designed for node representation learning tasks originally. To adapt GRAPH-BERT to the new problem settings, we re-design it with a segmented architecture instead, which is also named as SEG-BERT (Segmented GRAPH-BERT) for reference simplicity in this paper. SEG-BERT involves no node-order-variant inputs or functional components anymore, and it can handle the graph node orderless property naturally. What's more, SEG-BERT has a segmented architecture and introduces three different strategies to unify the graph instance sizes, i.e., full-input, padding/pruning and segment shifting, respectively. SEG-BERT is pre-trainable in an unsupervised manner, which can be further transferred to new tasks directly or with necessary fine-tuning. We have tested the effectiveness of SEG-BERT with experiments on seven graph instance benchmark datasets, and SEG-BERT can out-perform the comparison methods on six out of them with significant performance advantages.

研究动机与目标

• 解决图实例表示学习中固有的节点顺序无序性与图大小可变性问题。
• 克服现有 GNN 和基于 GCN 的模型在深层架构中性能下降以及难以实现顺序不变性的问题。
• 通过分段架构与多种输入策略统一不同大小的图实例，实现可扩展且高效的表示学习。
• 支持图实例任务的无监督预训练与迁移学习，减少冗余训练与资源消耗。
• 在单一框架下统一节点级与图级表示学习，支持跨数据集模型迁移。

提出的方法

• 重新设计图-BERT，消除依赖节点顺序的组件，仅依靠自注意力机制与顺序不变输入，以处理节点顺序无序性问题。
• 实现一种分段架构，将大图划分为固定大小 k 的可管理输入模块，实现可扩展处理。
• 提出三种图大小统一策略：全输入（整个图）、填充/剪枝（截断或零填充）、分段移动（重叠滑动窗口）。
• 当缺乏节点属性时，将图邻接关系作为固定顺序输入重新引入，以保留结构信息。
• 使用对图中所有节点或分段整体计算的全局图残差项，而非每个目标节点的残差项，以增强表示学习。
• 支持无监督预训练，随后在下游任务（如节点属性重建、图结构恢复与图分类）上进行微调。

实验结果

研究问题

• RQ1 图-BERT 是否可被有效重设计以处理图实例数据中固有的节点顺序无序性？
• RQ2 不同图大小统一策略（全输入、填充/剪枝、分段移动）对模型性能与训练效率有何影响？
• RQ3 预训练的 Seg-Bert 模型在具有不同大小与结构的多样化图实例数据集上，其泛化能力在多大程度上得以体现？
• RQ4 在缺乏节点属性的情况下，引入全局图残差项是否能提升表示学习性能？
• RQ5 Seg-Bert 是否能在图实例分类、重建与表示学习任务中超越最先进模型？

主要发现

• Seg-Bert 在七个基准数据集中的六个上超越最先进模型，包括 IMDB-Binary 数据集达到 75.40% 的准确率，显著优于 DGCNN 与 CapsGNN 等方法。
• 分段移动策略在性能上可媲美全输入策略，同时大幅减少训练时间并最小化虚假填充，效率与效果均优于填充/剪枝策略。
• 全输入策略性能最高，但训练成本过高（在 COLLAB、PROTEINS 与 NCI1 上进行 10 折交叉验证耗时超过 3 天），对大图不切实际。
• 原始残差项在 MUTAG 上提升性能，但在其他数据集上增益有限，可能由于缺乏节点属性的图中邻接嵌入稀疏。
• 基于验证集的早停机制至关重要，因为图实例分类模型即使使用 Dropout 与权重衰减也极易过拟合。
• 预训练的 Seg-Bert 模型支持有效的迁移学习，减少冗余训练，可在新任务上实现直接部署或少量微调。