[论文解读] Permutation Invariant Representations with Applications to Graph Deep Learning

Radu Bălan, Naveed Haghani+1 more|arXiv (Cornell University)|Mar 14, 2022

Computational Drug Discovery Methods被引用 5

一句话总结

本文提出了两种图神经网络的排列不变嵌入方法：一种基于节点特征排序，另一种基于对称多项式。基于排序的方法实现了低维输出下的双-Lipschitz等价性，并使得几乎任何分类器都能以极小的性能损失实现，已在QM9和PROTEINS_FULL数据集上验证，对节点排列具有强泛化能力。

ABSTRACT

This paper presents primarily two Euclidean embeddings of the quotient space generated by matrices that are identified modulo arbitrary row permutations. The original application is in deep learning on graphs where the learning task is invariant to node relabeling. Two embedding schemes are introduced, one based on sorting and the other based on algebras of multivariate polynomials. While both embeddings exhibit a computational complexity exponential in problem size, the sorting based embedding is globally bi-Lipschitz and admits a low dimensional target space. Additionally, an almost everywhere injective scheme can be implemented with minimal redundancy and low computational cost. In turn, this proves that almost any classifier can be implemented with an arbitrary small loss of performance. Numerical experiments are carried out on two data sets, a chemical compound data set (QM9) and a proteins data set (PROTEINS).

研究动机与目标

• 解决图深度学习中的排列不变性问题，即模型输出必须对节点重标记保持不变。
• 从行排列下的n×d矩阵商空间到欧几里得空间构造一个双-Lipschitz嵌入。
• 实现图数据的忠实、低冗余表示，同时在排列下保持度量结构。
• 证明几乎任何分类器均可通过所提出的嵌入以任意小的性能损失实现。
• 在节点排列扰动下，对图分类和回归任务进行方法的实证评估。

提出的方法

• 提出一种基于排序的嵌入方法，在将矩阵映射到R^m之前对行进行排序，确保排列不变性与双-Lipschitz连续性。
• 引入基于初等对称多项式的嵌入方法，利用Vieta公式和Newton-Girard恒等式推导。
• 在商空间上定义距离为所有行排列下Frobenius范数的最小值：d(X,Y) = min_Π ||X - ΠY||。
• 构建一个映射α: R^{n×d} → R^m，使得当X ∼ Y时α(X) = α(Y)，且满足a0 d(X,Y) ≤ ||α(X) - α(Y)|| ≤ b0 d(X,Y)，其中a0, b0为常数。
• 使用Wasserstein-1距离作为基线进行比较，表明其不足，原因在于输出空间为无穷维。
• 在QM9和PROTEINS_FULL数据集上，采用图卷积网络（GCN）与多层感知机进行端到端训练。

实验结果

研究问题

• RQ1 能否构建一种与商空间度量双-Lipschitz的排列不变表示？
• RQ2 基于排序的嵌入是否能实现低维、全局双-Lipschitz嵌入且冗余最小？
• RQ3 所提出的嵌入是否能实现几乎任意分类器在节点排列下的可忽略性能损失？
• RQ4 该嵌入方法在节点排列下的性能与标准方法（如恒等映射和数据增强）相比如何？
• RQ5 该嵌入方法在真实世界数据集（如QM9和PROTEINS_FULL）的图分类与回归任务中是否具有良好的泛化能力？

主要发现

• 基于排序的嵌入是全局双-Lipschitz的，并且可映射到低维目标空间，从而实现对排列不变数据的稳定且忠实的表示。
• 该方法实现了近乎处处单射，冗余极小且计算成本低，证明了任何分类器均可以任意小的损失近似实现。
• 在QM9数据集上，排序方法在d=100时，训练集MAE为0.155 eV，验证集为0.187 eV，优于节点排列下的恒等映射。
• 在PROTEINS_FULL数据集上，排序方法在排列后的验证集上AUC分别为0.821、0.820和0.818，优于恒等映射和数据增强方法。
• 核方法在d=1时未能充分训练，而恒等映射在排列后的验证集上表现出显著性能下降，表明泛化能力差。
• 数据增强由于在多个排列上显式训练，因此在所有设置下均保持强性能，凸显了归纳偏差在排列不变性中的重要性。