[论文解读] Rethinking Kernel Methods for Node Representation Learning on Graphs

Yu Tian, L. Zhao+2 more|arXiv (Cornell University)|Oct 6, 2019

Advanced Graph Neural Networks被引用 11

一句话总结

本文提出了一种基于核函数的新型节点分类框架，通过将核函数解耦为可学习的特征映射和基础核函数，学习到一个有效且强大的核函数，从而实现高效、非递归的节点表示学习。该方法在标准节点分类基准上达到最先进性能，并在理论上证明可表达任意正定核。

ABSTRACT

Graph kernels are kernel methods measuring graph similarity and serve as a standard tool for graph classification. However, the use of kernel methods for node classification, which is a related problem to graph representation learning, is still ill-posed and the state-of-the-art methods are heavily based on heuristics. Here, we present a novel theoretical kernel-based framework for node classification that can bridge the gap between these two representation learning problems on graphs. Our approach is motivated by graph kernel methodology but extended to learn the node representations capturing the structural information in a graph. We theoretically show that our formulation is as powerful as any positive semidefinite kernels. To efficiently learn the kernel, we propose a novel mechanism for node feature aggregation and a data-driven similarity metric employed during the training phase. More importantly, our framework is flexible and complementary to other graph-based deep learning models, e.g., Graph Convolutional Networks (GCNs). We empirically evaluate our approach on a number of standard node classification benchmarks, and demonstrate that our model sets the new state of the art.

研究动机与目标

• 解决当前节点表示学习方法缺乏系统性、理论基础不足的问题，因为诸如GCN等现有方法严重依赖启发式设计。
• 弥合图核方法（用于图分类）与节点分类之间的差距，通过将核学习扩展至节点层面。
• 设计一种可学习的核函数形式，既保证有效性（正定性），又具备表达任意有效核函数的能力。
• 设计一种基于核平滑视角的高效单步特征聚合机制，优于GCN中的递归邻域聚合。
• 确保与现有深度图模型（如GCN）的兼容性与互补性，支持集成到更广泛的GNN框架中。

提出的方法

• 将核函数解耦为可学习的特征映射 $ g_{\theta} $ 和固定的基核 $ k_{\text{base}} $，确保所得核函数保持正定性。
• 基于节点三元组上的对比损失，构建数据驱动的相似性度量与学习准则，用于在节点标签上训练 $ g_{\theta} $。
• 从核平滑的角度推导出一种新型特征聚合机制，实现邻域特征的一步聚合。
• 使用可学习核函数 $ K_{\theta}(v_i, v_j) = k_{\text{base}}(g_{\theta}(v_i), g_{\theta}(v_j)) $ 来捕捉结构与特征相似性。
• 采用对比目标进行模型训练：$ \mathcal{L}_{K} = \sum_{(v_i,v_j) \in \mathcal{D}} \ell(K_{\theta}(v_i,v_j), s_G(v_i,v_j)) $，其中 $ s_G $ 为真实边标签。
• 将该框架与GCN、GAT等现有模型集成，展示其灵活性与性能提升。

实验结果

研究问题

• RQ1 能否设计一种基于核函数的节点分类框架，使其在理论上有效且具有表达能力？
• RQ2 如何将核方法适配于节点表示学习，同时保持图的结构信息？
• RQ3 能否构建一种可学习的核函数，使其表达能力等同于任意正定核？
• RQ4 基于核函数的单步聚合机制与GCN中的递归邻域聚合相比，在效率和性能方面表现如何？
• RQ5 该核函数框架在多大程度上可与现有深度图模型（如GCN、GAT）集成，并实现性能提升？

主要发现

• 所提出的核函数框架在标准节点分类基准（Cora、Citeseer、Pubmed）上达到最先进性能，优于现有基于GCN的模型。
• 该方法在链接预测任务中表现出强泛化能力，在Cora上达到93.1% AUC和93.2% AP，与GAE和VGAE等最先进模型相当。
• t-SNE可视化显示，所学习的节点嵌入比GCN和GAT的嵌入更紧密聚集，且类间分离更清晰，尤其在不同类别之间。
• 理论分析表明，该框架可表达任意正定核，确保其表达能力达到最大。
• 单步特征聚合机制比递归的GCN式聚合更高效，同时保持或提升性能。
• 该框架在GCN及其变体中具有灵活性和互补性，可作为通用组件集成到未来GNN研究中。