[论文解读] NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs

Yijun Tian, Chuxu Zhang+3 more|arXiv (Cornell University)|Aug 22, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

NOSMOG 通过整合节点位置特征、来自 GNN 的表示相似性蒸馏以及对抗性特征增强，提出了一种抗噪声且具备结构感知能力的 MLP 框架用于图学习。它在七个数据集上均达到最先进性能，平均比 GNN 提升 2.05%，且推理速度比 GNN 快 833 倍。

ABSTRACT

While Graph Neural Networks (GNNs) have demonstrated their efficacy in dealing with non-Euclidean structural data, they are difficult to be deployed in real applications due to the scalability constraint imposed by multi-hop data dependency. Existing methods attempt to address this scalability issue by training multi-layer perceptrons (MLPs) exclusively on node content features using labels derived from trained GNNs. Even though the performance of MLPs can be significantly improved, two issues prevent MLPs from outperforming GNNs and being used in practice: the ignorance of graph structural information and the sensitivity to node feature noises. In this paper, we propose to learn NOise-robust Structure-aware MLPs On Graphs (NOSMOG) to overcome the challenges. Specifically, we first complement node content with position features to help MLPs capture graph structural information. We then design a novel representational similarity distillation strategy to inject structural node similarities into MLPs. Finally, we introduce the adversarial feature augmentation to ensure stable learning against feature noises and further improve performance. Extensive experiments demonstrate that NOSMOG outperforms GNNs and the state-of-the-art method in both transductive and inductive settings across seven datasets, while maintaining a competitive inference efficiency. Codes are available at https://github.com/meettyj/NOSMOG.

研究动机与目标

• 解决现有 GNN-MLP 蒸馏框架忽略图结构信息且对节点特征噪声敏感的局限性。
• 开发一种基于 MLP 的模型，以同时捕捉节点内容和结构位置信息，提升泛化能力。
• 在保持高推理效率的同时，增强对特征噪声的鲁棒性。
• 在直推学习和归纳学习设置下，均超越 GNN 和最先进 MLP 方法的性能。

提出的方法

• 将节点位置特征（如来自拉普拉斯特征映射或随机游走）与节点内容特征结合，作为 MLP 的输入，以编码结构信息。
• 提出一种表示相似性蒸馏策略，通过隐藏层表示将 GNN 中的节点相似性模式迁移到 MLP。
• 设计一个多目标损失函数，结合真实标签监督和相似性蒸馏，使 MLP 预测与 GNN 输出及结构亲和力对齐。
• 在训练过程中应用对抗性特征增强，以提升对输入噪声的鲁棒性并增强泛化能力。
• 采用两阶段训练流程：首先用 GNN 预训练以生成软标签和节点相似性，然后通过蒸馏和对抗性增强微调 MLP。
• 使用一致性度量（剪切值）评估模型预测与图拓扑的对齐程度，验证其结构感知能力。

实验结果

研究问题

• RQ1 如果 MLP 在知识蒸馏过程中被赋予结构感知能力和抗噪声能力，是否能实现与 GNN 相当的性能，同时保持快速推理？
• RQ2 如何有效将图结构信息注入仅使用节点内容特征的 MLP 中？
• RQ3 引入节点位置特征是否能提升 MLP 捕捉图拓扑模式的能力？
• RQ4 从 GNN 中进行表示相似性蒸馏，是否能提升 MLP 的泛化能力，而不仅仅是模仿输出 logits？
• RQ5 对抗性特征增强如何提升图神经网络中 MLP 对节点特征噪声的鲁棒性？

主要发现

• 在七个数据集上，NOSMOG 在直推和归纳学习设置下，平均比 GNN 提升 2.05%。
• 与最先进方法 GLNN 相比，NOSMOG 平均提升 6.63%，展现出更优的性能和鲁棒性。
• 模型在图拓扑对齐度量（剪切值）上平均达到 0.9348，显著高于 GNN（0.9276）、MLP（0.7572）和 GLNN（0.8725），表明其与图拓扑的对齐性更强。
• NOSMOG 在保持相同层数的情况下，推理速度比 GNN 快 833 倍，同时保持了竞争力的效率。
• 消融实验表明，位置特征、相似性蒸馏和对抗性增强三个组件对性能提升均不可或缺。
• 鲁棒性分析显示，NOSMOG 在特征噪声下仍能保持高性能，证实了对抗性训练带来的抗噪声能力。