[论文解读] On the Unreasonable Effectiveness of Feature propagation in Learning on Graphs with Missing Node Features

Emanuele Rossi, Henry Kenlay+4 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Graph Neural Networks参考文献 51被引用 10

一句话总结

本文提出特征传播（Feature Propagation, FP），一种可扩展且理论基础坚实的图神经网络方法，通过扩散过程最小化狄氏能量来重建缺失的节点特征。FP在性能上达到当前最先进水平，当99%的特征缺失时，仅导致4.12%的相对准确率下降，在大规模图上显著优于先前方法。

ABSTRACT

While Graph Neural Networks (GNNs) have recently become the de facto standard for modeling relational data, they impose a strong assumption on the availability of the node or edge features of the graph. In many real-world applications, however, features are only partially available; for example, in social networks, age and gender are available only for a small subset of users. We present a general approach for handling missing features in graph machine learning applications that is based on minimization of the Dirichlet energy and leads to a diffusion-type differential equation on the graph. The discretization of this equation produces a simple, fast and scalable algorithm which we call Feature Propagation. We experimentally show that the proposed approach outperforms previous methods on seven common node-classification benchmarks and can withstand surprisingly high rates of missing features: on average we observe only around 4% relative accuracy drop when 99% of the features are missing. Moreover, it takes only 10 seconds to run on a graph with $\sim$2.5M nodes and $\sim$123M edges on a single GPU.

研究动机与目标

• 解决现实世界图机器学习应用中因隐私或数据采集限制导致特征不完整这一关键挑战。
• 开发一种兼具理论严谨性与实际可扩展性的方法，适用于高比例缺失特征的大规模图。
• 在准确率与可扩展性方面超越现有最先进方法（如GCNMF和PaGNN），尤其在极端缺失特征率下表现更优。
• 提供一种通用、即插即用的预处理步骤，兼容任意下游图神经网络模型，提升灵活性与部署能力。

提出的方法

• 该方法源自图上狄氏能量的最小化，推导出一个连续时间扩散方程，用于建模图结构中特征的传播过程。
• 将连续扩散方程离散化为一种基于稀疏矩阵乘法的迭代算法，实现高效且可扩展的计算。
• 在每次迭代中，通过聚合邻居特征来更新节点特征，并将已知值重新初始化，确保与观测到的特征保持一致。
• 该过程起到低通滤波器的作用，平滑图中特征分布，同时将已知值作为边界条件保留。
• 该框架具有通用性，可与任意图神经网络模型（如GCN或GraphSAGE）结合，用于下游节点分类任务。
• 算法在GPU上高效实现，单张GPU上250万节点图的特征重建步骤耗时不足10秒。

实验结果

研究问题

• RQ1 是否存在一种理论驱动且可扩展的方法，能够在保持下游任务高性能的前提下重建图中缺失的节点特征？
• RQ2 在极高缺失特征率（如90%或99%）下，特征重建方法的性能如何退化？
• RQ3 在大规模图上，特征传播是否在准确率、速度与可扩展性方面均优于现有方法（如GCNMF和PaGNN）？
• RQ4 图的同质性如何影响特征传播的有效性？
• RQ5 该方法能否推广至异构图，并支持依赖特征的扩散机制？

主要发现

• 当99%的特征缺失时，FP仅导致4.12%的相对准确率下降，而GCNMF和PaGNN的平均下降率分别为58.33%和21.25%。
• 在OGBN-Products数据集（250万节点，1.23亿条边）上，FP在单张GPU上约10.5秒内完成特征重建，而GCNMF和PaGNN因内存溢出而失败。
• FP在所有数据集上均优于或匹配标签传播与位置编码方法，即使在99%特征缺失时也表现出色，证明其鲁棒性与实用性。
• 在端到端训练时间上，FP比PaGNN和GCNMF快约3倍，且特征传播步骤仅占总运行时间的一小部分。
• 在低同质性图中性能显著下降，此时FP的表现与零填充基线相近，表明其在非同质化场景下存在局限性。
• 该方法在同质性图中最为有效，其中邻近节点具有相似特征，验证了其作为低通滤波器平滑图中特征分布的解释。