[论文解读] Optimization-Induced Graph Implicit Nonlinear Diffusion

Qi Chen, Yifei Wang+3 more|arXiv (Cornell University)|Jun 29, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出图隐式非线性扩散（GIND），一种新颖的隐式图神经网络，将节点表征建模为凸优化目标的最小化解，实现无限跳邻域聚合与自适应非线性扩散。通过将平衡状态形式化为优化解，GIND避免了过平滑问题，有效捕捉长程依赖关系，并在同质与异质图上均实现了最先进性能，同时提升了训练稳定性和效率。

ABSTRACT

Due to the over-smoothing issue, most existing graph neural networks can only capture limited dependencies with their inherently finite aggregation layers. To overcome this limitation, we propose a new kind of graph convolution, called Graph Implicit Nonlinear Diffusion (GIND), which implicitly has access to infinite hops of neighbors while adaptively aggregating features with nonlinear diffusion to prevent over-smoothing. Notably, we show that the learned representation can be formalized as the minimizer of an explicit convex optimization objective. With this property, we can theoretically characterize the equilibrium of our GIND from an optimization perspective. More interestingly, we can induce new structural variants by modifying the corresponding optimization objective. To be specific, we can embed prior properties to the equilibrium, as well as introducing skip connections to promote training stability. Extensive experiments show that GIND is good at capturing long-range dependencies, and performs well on both homophilic and heterophilic graphs with nonlinear diffusion. Moreover, we show that the optimization-induced variants of our models can boost the performance and improve training stability and efficiency as well. As a result, our GIND obtains significant improvements on both node-level and graph-level tasks.

研究动机与目标

• 解决由有限聚合层和线性各向同性扩散引起的图神经网络中的过平滑问题。
• 在保持表征表达能力的同时，实现访问无限跳邻居的隐式图卷积。
• 将隐式层的平衡状态形式化为凸优化问题的解，以提供理论基础与结构设计支持。
• 通过修改底层优化目标，设计出有原则的结构变体（如跳跃连接与正则化）。
• 提升在节点级别与图级别基准测试中的训练稳定性、效率与性能，尤其在异质设置下表现更优。

提出的方法

• GIND模型将隐式图卷积形式化为凸优化问题的解，其中平衡表征最小化一个结构化目标函数。
• 在聚合前学习节点对之间的非线性通量特征，实现自适应扩散，偏好相似邻居并减少过平滑。
• 优化目标同时包含特征变换与非线性扩散，将这些组件统一于单一有原则的框架下。
• 通过修改优化目标可诱导结构变体，例如添加拉普拉斯正则化或特征去相关性以嵌入先验知识。
• 模型使用梯度估计进行反向传播，相比精确隐式微分方法训练速度更快。
• 通过定点迭代计算平衡状态，确保无论深度如何，内存使用恒定。

实验结果

研究问题

• RQ1 在异质图上，具有非线性扩散的隐式图卷积是否能优于现有隐式GNN，以更好地捕捉长程依赖？
• RQ2 将GNN平衡状态形式化为凸优化最小化解，如何提升理论可解释性与模型设计能力？
• RQ3 对优化目标的结构修改（如正则化或跳跃连接）在多大程度上能增强训练稳定性和性能？
• RQ4 与线性各向同性扩散相比，非线性扩散在隐式GNN中是否显著减少过平滑？
• RQ5 GIND的训练效率与依赖精确梯度计算的其他隐式GNN相比如何？

主要发现

• GIND在200个节点的链状图上实现100%测试准确率，优于显式GNN，并在长程依赖任务中保持高性能。
• 在Cora数据集上，GIND使用梯度估计仅用15.52秒训练时间即达到84.5%的测试准确率，效率超过EIGNN。
• 在异质图数据集（如Cornell与Wisconsin）上，GIND的非线性扩散相比线性扩散分别提升准确率2.34%与3.73%。
• 添加拉普拉斯正则化在同质图数据集上表现更优（如CiteSeer：76.81% vs. 76.62%无正则化），证实其有效性。
• GIND在PubMed上仅用47.31秒完成训练，显著快于EIGNN（1473.59秒）与CGS（118.65秒），得益于高效的梯度估计。
• 优化驱动的框架实现了稳定训练，并支持有原则的变体设计，如特征去相关性与跳跃连接，进一步提升性能。