[论文解读] Semi-Supervised Learning on Graphs with Feature-Augmented Graph Basis Functions

Wolfgang Erb|arXiv (Cornell University)|Mar 17, 2020

Advanced Graph Neural Networks参考文献 34被引用 4

一句话总结

本文提出了一种基于特征增强图基函数（GBFs）的图半监督学习框架，通过施鲁尔-哈达玛积更新，将几何结构与附加特征信息整合，以提升分类准确率。该方法在标准GBF核中引入来自无监督聚类或节点属性的先验信息，显著提升了在真实世界数据集（如威斯康星州乳腺癌和电离层数据集）上使用较少标注节点时的性能。

ABSTRACT

For semi-supervised learning on graphs, we study how initial kernels in a supervised learning regime can be augmented with additional information from known priors or from unsupervised learning outputs. These augmented kernels are constructed in a simple update scheme based on the Schur-Hadamard product of the kernel with additional feature kernels. As generators of the positive definite kernels we will focus on graph basis functions (GBF) that allow to include geometric information of the graph via the graph Fourier transform. Using a regularized least squares (RLS) approach for machine learning, we will test the derived augmented kernels for the classification of data on graphs.

研究动机与目标

• 通过将几何结构和外部先验信息整合到核函数中，提升图上的半监督学习性能。
• 提出一种简单高效的核增强策略，利用施鲁尔-哈达玛积将图基函数与特征信息结合。
• 证明特征增强GBF核在标注数据有限时优于标准监督GBF-RLS核。
• 在合成与真实世界图数据集上验证该方法，使用来自谱聚类的无监督先验。

提出的方法

• 利用图傅里叶变换构建正定图基函数（GBFs），以编码几何结构。
• 从辅助特征图或图（如谱聚类生成的图）中生成特征核。
• 在图与特征图的笛卡尔积上构建张量积核。
• 通过将原GBF核与特征矩阵进行嵌入，得到特征增强核，其表达形式为施鲁尔-哈达玛积。
• 使用带增强核的正则化最小二乘法（RLS）求解分类任务，以在再生核希尔伯特空间中强制平滑性。
• 采用归一化图拉普拉斯矩阵构建相似性图，并应用Shi-Malik谱聚类生成作为先验的二值特征图。

实验结果

研究问题

• RQ1 能否通过核增强策略，将几何与基于特征的先验信息整合到基于核的图半监督学习中，从而提升性能？
• RQ2 GBF核与特征核的施鲁尔-哈达玛积在标注数据有限时如何影响分类准确率？
• RQ3 无监督聚类输出（如谱聚类）在图半监督学习中在多大程度上可作为有效先验？
• RQ4 特征增强是否能减少达到高分类准确率所需的标注节点数量？

主要发现

• 在电离层数据集上，特征增强GBF-RLS在60个标注节点下达到90.05%的准确率，优于监督GBF-RLS（87.18%）和无监督谱分类器（71.79%）。
• 在威斯康星州乳腺癌数据集上，半监督$\boldsymbol{\rho}$-GBF-RLS在64个标注节点下达到96.05%的准确率，与无监督谱分类器持平，而监督GBF-RLS在完全标注下仅达到96.43%的准确率。
• 仅使用2个标注节点时，特征增强方法在WBC数据集上达到91.68%的准确率，而监督GBF-RLS仅为72.73%，展现出优异的数据效率。
• 在双月形合成数据集上，特征增强核使所需标注节点数减少最多50%即可达到与监督基线相当的准确率。
• 该方法在大规模图上仍保持高性能，展现出良好的可扩展性与对特征先验中噪声的鲁棒性。