[论文解读] PDE-GCN: Novel Architectures for Graph Neural Networks Motivated by Partial Differential Equations

Moshe Eliasof, Eldad Haber+1 more|arXiv (Cornell University)|Aug 4, 2021

Model Reduction and Neural Networks被引用 43

一句话总结

PDE-GCN 引入了受图上离散化PDE启发的扩散、双曲和混合图卷积层，以控制过平滑并在多样任务中实现竞争力或最先进的结果。

ABSTRACT

Graph neural networks are increasingly becoming the go-to approach in various fields such as computer vision, computational biology and chemistry, where data are naturally explained by graphs. However, unlike traditional convolutional neural networks, deep graph networks do not necessarily yield better performance than shallow graph networks. This behavior usually stems from the over-smoothing phenomenon. In this work, we propose a family of architectures to control this behavior by design. Our networks are motivated by numerical methods for solving Partial Differential Equations (PDEs) on manifolds, and as such, their behavior can be explained by similar analysis. Moreover, as we demonstrate using an extensive set of experiments, our PDE-motivated networks can generalize and be effective for various types of problems from different fields. Our architectures obtain better or on par with the current state-of-the-art results for problems that are typically approached using different architectures.

研究动机与目标

• 基于PDE理论激发GCN设计，以理解图和流形上的动力学。
• 基于图梯度和散度开发通用的图算子。
• 在图上实例化PDEs，创建扩散和双曲层以防止过平滑。
• 在多种任务（节点分类、形状对应、PPI）中展示PDE-GCN的有效性。
• 提供深层、稳定GCN的理论保证和实证证据。

提出的方法

• 在图上定义离散梯度(G)和散度以近似微分算子。
• 在流形上建立非线性扩散和非线性双曲PDE：f_t = div K* sigma(K grad f) 和 f_tt = div K* sigma(K grad f)。
• 在前向欧拉（扩散）和跃迁（双曲）方案下离散化：f^{(l+1)} = f^{(l)} - h G^T K_l^T sigma(K_l G f^{(l)}) 和 f^{(l+1)} = 2 f^{(l)} - f^{(l-1)} - h^2 G^T K_l^T sigma(K_l G f^{(l)}).
• 用1x1卷积嵌入输入，并可选地通过A和G引入边特征来形成f_0。
• 通过alpha f_tt + (1-alpha) f_t = div K^T sigma(K grad f)实现混合动力学（PDE-GCN M），其中alpha是可学习的。
• 将K_l初始化为单位矩阵，以从扩散/双曲先验开始，并通过稳定性考量实现剪枝。

实验结果

研究问题

• RQ1 PDE启发的图动态（扩散、双曲或混合）是否能在不同任务中防止深层GCN的过平滑？
• RQ2 PDE-GCN变体在跨域（3D形状分类、节点分类、PPI、密集形状对应）上的泛化能力是否优于领域特定的GCN？
• RQ3 在不同问题类型中学习混合参数alpha对性能的影响如何？
• RQ4 离散化的PDE算子在图上是否为深层结构提供理论保证和实际稳定性？
• RQ5 在强调平滑与守恒的问题上，扩散与双曲动力学的性能如何？

主要发现

• PDE-GCN D（扩散）在ModelNet-10（92.2）和Cora（83.6）上实现高准确率。
• PDE-GCN D在Cora、Citeseer、PubMed的半监督节点分类上与最先进方法相当或超越，在深层网络下也没有过平滑。
• PDE-GCN M（混合动力学）学习alpha，使节点分类偏向扩散，而在如密集形状对应的能量守恒任务中偏向双曲动力学。
• PDE-GCN H（双曲）在密集形状对应方面表现出色，几何误差几乎为零（FAUST上99.9%）。
• PDE-GCN D在全监督任务上优于或等同于基线，在若干小数据集（Texas、Wisconsin等）上达到89.68%及以上。
• 对PPI的归纳学习显示PDE-GCN D（99.07）和PDE-GCN M（99.18）与许多基线相比具有竞争力甚至超越。