[论文解读] SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning

Keyu Duan, Qian Liu+5 more|arXiv (Cornell University)|Aug 3, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

SimTeG 提出了一种简单而有效的方法进行文本图学习：首先在下游任务上通过参数高效微调（PEFT）微调预训练语言模型，然后将最终的隐藏状态作为任何图神经网络（GNN）的节点特征。该方法在 OGBN-Arxiv 数据集上实现了最先进性能（78.04% 准确率），超越了复杂架构，仅需极少修改。

ABSTRACT

Textual graphs (TGs) are graphs whose nodes correspond to text (sentences or documents), which are widely prevalent. The representation learning of TGs involves two stages: (i) unsupervised feature extraction and (ii) supervised graph representation learning. In recent years, extensive efforts have been devoted to the latter stage, where Graph Neural Networks (GNNs) have dominated. However, the former stage for most existing graph benchmarks still relies on traditional feature engineering techniques. More recently, with the rapid development of language models (LMs), researchers have focused on leveraging LMs to facilitate the learning of TGs, either by jointly training them in a computationally intensive framework (merging the two stages), or designing complex self-supervised training tasks for feature extraction (enhancing the first stage). In this work, we present SimTeG, a frustratingly Simple approach for Textual Graph learning that does not innovate in frameworks, models, and tasks. Instead, we first perform supervised parameter-efficient fine-tuning (PEFT) on a pre-trained LM on the downstream task, such as node classification. We then generate node embeddings using the last hidden states of finetuned LM. These derived features can be further utilized by any GNN for training on the same task. We evaluate our approach on two fundamental graph representation learning tasks: node classification and link prediction. Through extensive experiments, we show that our approach significantly improves the performance of various GNNs on multiple graph benchmarks.

研究动机与目标

• 探究是否可以通过简单而有效的方式利用预训练语言模型，显著提升文本图表示学习性能。
• 解决在图学习的特征提取阶段对现代语言模型利用不足的问题，该阶段仍依赖于传统方法如 BoW。
• 评估语言模型特征是否不仅提升节点分类性能，也提升链接预测性能，后者更依赖于结构信息。
• 确定语言模型主干网络和微调策略的选择是否影响下游 GNN 的性能。
• 证明简单、模块化的方法可超越复杂、端到端框架在文本图学习中的表现。

提出的方法

• 在下游任务（如节点分类）上使用参数高效微调（PEFT）微调预训练语言模型，使用特定任务的标签。
• 从微调后语言模型的最后隐藏层提取节点表示，丢弃分类头。
• 将这些提取的文本嵌入作为任何图神经网络（GNN）在下游图学习任务中的输入特征。
• 使用语言模型生成的特征训练 GNN，保持两阶段范式：特征提取后接图学习。
• 在多个基准测试集（包括 OGBN-Arxiv、OGBN-Products 和 OGBN-Citation2）上评估节点分类和链接预测的性能。
• 与全量微调和传统特征工程方法进行比较，分析过拟合现象和模型敏感性。

实验结果

研究问题

• RQ1 语言模型特征在多大程度上能提升文本图上 GNN 的性能？这种提升在不同 GNN 架构中是否一致？
• RQ2 哪种预训练语言模型——检索优化型还是掩码语言建模（MLM）型——能为文本图学习生成更优的节点表示？
• RQ3 在链接预测任务中，引入语言模型特征是否能提升性能？该任务更强调结构模式而非文本信息。
• RQ4 GNN 训练对语言模型主干网络和微调方法的选择有多敏感？
• RQ5 简单、模块化的方法是否能超越复杂、端到端框架在文本图表示学习中的表现？

主要发现

• 仅使用 SimTeG 特征的简单两层 GraphSAGE 在 OGBN-Arxiv 上达到 77.48% 的准确率，与更复杂模型的最先进性能相当。
• 当与最先进 GNN 结合时，SimTeG 在 OGBN-Arxiv 上实现了新的最先进准确率 78.04%。
• 与全量微调相比，参数高效微调显著降低了过拟合：在 OGBN-Arxiv 节点分类任务中，过拟合差异（测试准确率 - 训练准确率）从 9.11 降低至 2.52。
• 在 SimTeG 中，检索优化型语言模型（如 e5-large 和 all-roberta-large-v1）的表现优于标准 MLM 模型（如 roberta-large）。
• 语言模型的性能排名（e5-large > all-roberta-large-v1 > all-MiniLM-L6-v2）与它们在 MTEB 排行榜上的得分一致，表明检索能力更强的模型能生成更优的图表示。
• 该方法具有鲁棒性和模块化特性：可与任意 GNN 和语言模型兼容，且性能随底层语言模型质量的提升而提升。