[论文解读] Sign and Basis Invariant Networks for Spectral Graph Representation Learning

Derek Lim, Joshua A. Robinson+5 more|arXiv (Cornell University)|Feb 25, 2022

Machine Learning in Materials Science被引用 25

一句话总结

SignNet 和 BasisNet 是对符号翻转和特征向量基底变化不变的神经架构，能够对特征向量的函数实现普遍近似，并在图、分子数据和网格上的谱方法方面优于以往方法。

ABSTRACT

We introduce SignNet and BasisNet -- new neural architectures that are invariant to two key symmetries displayed by eigenvectors: (i) sign flips, since if $v$ is an eigenvector then so is $-v$; and (ii) more general basis symmetries, which occur in higher dimensional eigenspaces with infinitely many choices of basis eigenvectors. We prove that under certain conditions our networks are universal, i.e., they can approximate any continuous function of eigenvectors with the desired invariances. When used with Laplacian eigenvectors, our networks are provably more expressive than existing spectral methods on graphs; for instance, they subsume all spectral graph convolutions, certain spectral graph invariants, and previously proposed graph positional encodings as special cases. Experiments show that our networks significantly outperform existing baselines on molecular graph regression, learning expressive graph representations, and learning neural fields on triangle meshes. Our code is available at https://github.com/cptq/SignNet-BasisNet .

研究动机与目标

• 动机并正式阐明在用于图表示的特征向量中处理符号和基底歧义的必要性。
• 引入实现符号不变性和基底不变性的 SignNet 和 BasisNet 架构。
• 给出普适性结果，证明这些网络可以近似一类广泛的特征向量的不变函数。
• 展示这些架构在推广性上超越并优于传统的谱图卷积和现有的位置编码。
• 在分子图、图表示和三角网格神经场上展示经验收益。

提出的方法

• 将符号不变性定义为 f(v1,...,vk) = f(s1 v1,..., sk vk) 其中 si ∈ {−1,1}，并通过 φ 推导出使得 h(v) = φ(v) + φ(−v) 的构造。
• 通过特征子空间基 V_i 定义基底不变性，V_i Q_i 其中 Q_i ∈ O(d_i)，并使用 φ_d_i(V_i V_i^T) 结合 IGN (invariant graph networks) 以实现置换不变等变。
• 提出 SignNet：f(v1,...,vk) = ρ([φ(v_i) + φ(−v_i)]_i) 其中 φ、ρ 选为置换等变网络；根据需要扩展包含特征值 λ_i 和节点特征 X。
• 提出 BasisNet：f(V1,...,Vl) = ρ([IGN_d_i(V_i V_i^T)]_i)，使用共享的 φ_d_i 和 ρ，确保对每个特征子空间内的基变换不变以及置换不变等变。
• 给出一个理论分解（定理 1），将联合群不变性约简为按特征子空间的不变性，从而实现模块化构造。
• 给出相对于谱图卷积和谱不变量的 SignNet 与 BasisNet 的普适近似性结果（命题与定理）。

实验结果

研究问题

• RQ1 在符号和基底对称性下，SignNet 和 BasisNet 是否能普遍近似所有特征向量的连续不变函数？
• RQ2 SignNet 和 BasisNet 是否严格泛化并在某些情况下优于传统的谱图卷积和谱 GNN？
• RQ3 就表达能力和近似能力而言，这些网络与现有的图位置编码之间的关系是什么？
• RQ4 在分子图回归、图表示学习和网格上的神经场等任务中，SignNet 和 BasisNet 的经验表现如何？

主要发现

• 在温和条件下，SignNet 与 BasisNet 是具有符号和基底不变性的特征向量的连续函数的普遍近似器。
• 它们严格泛化谱图卷积，并且在某些情况下能够区分超出标准谱 GNN 的图属性，例如二分图性。
• BasisNet 能普遍近似谱不变量，如图角度及相关圈计数，同时也与传统不变量和 WL 测试相关。
• SignNet 能再现并统一基于拉普拉斯特征向量、热核和随机游走的多种现有图位置编码。
• 实证结果表明将 SignNet 作为节点位置编码时，可提升分子图回归（例如在 ZINC 数据集上），在多种基础模型中优于若干最先进的基线。
• 在流形上的神经场应用中，使用 SignNet 的感知指标与基线相比具有竞争力或更优。