[论文解读] Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs

Vijay Lingam, Rahul Ragesh+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Graph Neural Networks参考文献 17被引用 6

一句话总结

该论文提出了一种基于截断奇异值分解（TSVD）的简单模型，在异配性图节点分类任务中，性能相比最先进方法最高提升约30%。通过分别对节点特征和图拓扑应用TSVD，该方法通过引入负边捕捉高频分量，有效充当无需依赖消息传递聚合的硬性低通滤波器。

ABSTRACT

Graph Neural Networks (GNNs) have shown excellent performance on graphs that exhibit strong homophily with respect to the node labels i.e. connected nodes have same labels. However, they perform poorly on heterophilic graphs. Recent approaches have typically modified aggregation schemes, designed adaptive graph filters, etc. to address this limitation. In spite of this, the performance on heterophilic graphs can still be poor. We propose a simple alternative method that exploits Truncated Singular Value Decomposition (TSVD) of topological structure and node features. Our approach achieves up to ~30% improvement in performance over state-of-the-art methods on heterophilic graphs. This work is an early investigation into methods that differ from aggregation based approaches. Our experimental results suggest that it might be important to explore other alternatives to aggregation methods for heterophilic setting.

研究动机与目标

• 为解决图神经网络（GNNs）在异配性图上表现不佳的问题，其中相连节点通常具有不同标签。
• 探索当前GNN架构中主导的消息传递聚合机制的替代方案。
• 通过一种简单、高效且可解释的基于截断奇异值分解（TSVD）的方法，提升异配性图上的节点分类性能。
• 探究图结构与特征的谱分解是否能产生优于学习型聚合的表示。
• 证明TSVD正则化可作为异配性场景下的有效归纳偏置。

提出的方法

• 该方法独立地对节点特征矩阵和图邻接矩阵应用截断奇异值分解（TSVD），以提取低秩近似。
• 通过TSVD分解的左奇异向量学习加权邻接矩阵，构建新图，有效引入负边以捕捉高频分量。
• 模型采用基于拼接的架构，结合TSVD处理后的特征与修改后的图结构，避免使用标准的邻域聚合。
• 该方法将奇异值数量（k）作为超参数，实现对特征与图结构维度的灵活控制。
• 在训练过程中对图归一化方式进行调整，测试了对称归一化、行归一化和无归一化三种方式，以评估其对性能的影响。
• 该方法受GPR-GNN启发，将TSVD解释为一种缩放与选择奇异向量的方式，有效充当硬性低通滤波器。

实验结果

研究问题

• RQ1 基于TSVD的简单方法是否能在异配性图节点分类任务中超越基于消息传递的GNN？
• RQ2 通过TSVD对节点特征与图结构同时分解，是否能在异配性设置下实现更优的表示学习？
• RQ3 由TSVD引入的负边是否能捕捉高频模式，从而提升异配性图上的分类性能？
• RQ4 TSVD带来的性能提升是否在多种异配性基准数据集上均具有鲁棒性？
• RQ5 非聚合型方法是否能在异配性图上实现与最先进GNN相当或更优的性能？

主要发现

• HLP Concat模型在Squirrel数据集上达到74.17%的准确率，较基线GPR-GNN（56.59%）提升17.58%，较最先进方法相对提升达30%。
• 调整截断奇异值数量（k）显著提升了性能，当k被优化时，Squirrel数据集的准确率从56.59%提升至74.17%。
• 该模型在所有基准数据集（包括Texas、Wisconsin、Actor、Chameleon和Cornell）上均优于所有基线模型，且提升稳定。
• 对特征与图结构分别使用可变的k值，优于固定k值，表明最优维度在不同数据集中存在差异。
• 图归一化方式具有显著影响：将归一化作为超参数（对称、行、无）处理，性能优于固定对称归一化，表明标准归一化可能限制性能。
• TSNE可视化结果表明，HLP Concat模型生成的嵌入更具可分性，类别间聚类更清晰，表明其嵌入质量更优。