[论文解读] Rational Neural Networks for Approximating Jump Discontinuities of Graph Convolution Operator

Zhiqian Chen, Feng Chen+3 more|arXiv (Cornell University)|Aug 30, 2018

Advanced Graph Neural Networks参考文献 51被引用 4

一句话总结

本文提出RationalNet，一种新颖的图神经网络，通过利用有理函数逼近来有效建模图信号中的跳跃间断，通过将问题重新表述为图拉普拉斯形式，避免了昂贵的特征向量矩阵乘法。该方法在跳跃信号上实现指数收敛，且在合成与真实世界图数据集上均显著降低误差并保持具有竞争力的运行时间，优于基于多项式的模型和基线方法。

ABSTRACT

For node level graph encoding, a recent important state-of-art method is the graph convolutional networks (GCN), which nicely integrate local vertex features and graph topology in the spectral domain. However, current studies suffer from several drawbacks: (1) graph CNNs relies on Chebyshev polynomial approximation which results in oscillatory approximation at jump discontinuities; (2) Increasing the order of Chebyshev polynomial can reduce the oscillations issue, but also incurs unaffordable computational cost; (3) Chebyshev polynomials require degree $Ω$(poly(1/$ε$)) to approximate a jump signal such as $|x|$, while rational function only needs $\mathcal{O}$(poly log(1/$ε$))\cite{liang2016deep,telgarsky2017neural}. However, it's non-trivial to apply rational approximation without increasing computational complexity due to the denominator. In this paper, the superiority of rational approximation is exploited for graph signal recovering. RatioanlNet is proposed to integrate rational function and neural networks. We show that rational function of eigenvalues can be rewritten as a function of graph Laplacian, which can avoid multiplication by the eigenvector matrix. Focusing on the analysis of approximation on graph convolution operation, a graph signal regression task is formulated. Under graph signal regression task, its time complexity can be significantly reduced by graph Fourier transform. To overcome the local minimum problem of neural networks model, a relaxed Remez algorithm is utilized to initialize the weight parameters. Convergence rate of RatioanlNet and polynomial based methods on jump signal is analyzed for a theoretical guarantee. The extensive experimental results demonstrated that our approach could effectively characterize the jump discontinuities, outperforming competing methods by a substantial margin on both synthetic and real-world graphs.

研究动机与目标

• 解决基于多项式的图卷积网络在逼近跳跃间断时因Gibbs现象导致的收敛缓慢问题。
• 通过避免特征向量矩阵乘法，克服有理逼近在谱图方法中的计算负担。
• 设计一种将有理函数与图卷积结合的神经网络架构，以提升非光滑图信号上的信号恢复性能。
• 为有理函数在跳跃信号上相比多项式具有更快收敛速度提供理论依据。
• 通过使用松弛版Remez算法进行权重初始化，提升训练稳定性和收敛性。

提出的方法

• 将特征值的有理函数重新表述为图拉普拉斯的函数，从而消除对特征向量矩阵乘法的需求。
• 将图信号回归建模为学习任务，并利用图傅里叶变换降低时间复杂度。
• 引入松弛版Remez算法以初始化网络权重，缓解训练过程中的局部极小值问题。
• 使用神经网络学习有理函数的系数，实现在图结构化数据上的端到端训练。
• 理论分析表明，有理逼近在ε-逼近下所需度数为O(poly log(1/ε))，而多项式则需Ω(poly(1/ε))。
• 模型通过最小化预测信号与目标信号之间均方误差的损失函数进行训练，适用于图嵌入数据。

实验结果

研究问题

• RQ1 有理函数逼近是否能在建模图信号跳跃间断方面优于多项式逼近？
• RQ2 有理函数能否在不引入特征向量运算高计算成本的前提下，高效集成到谱图神经网络中？
• RQ3 与基于多项式的GCN相比，所提出的RationalNet模型在跳跃信号上是否实现更快收敛？
• RQ4 松弛版Remez算法是否能有效初始化神经网络权重，以改善收敛性并避免陷入局部极小值？
• RQ5 RationalNet在具有非光滑信号的真实世界和合成图数据集上的实际表现如何？

主要发现

• 在明尼苏达州公路网络上，RationalNet的均方误差（MSE）达到3e-5，显著优于次佳基线方法PolyFit（0.0008）。
• 在费尔法克斯公路网络上，RationalNet保持最低MSE（3e-5），而SVR(RBF)和PolyNet的MSE分别为0.0055和0.0039。
• 尽管每次迭代的计算成本高于基线，RationalNet在明尼苏达（2642个节点）和费尔法克斯（993个节点）数据集上均于300次迭代内收敛，耗时不足一分钟。
• 理论分析证实，有理逼近在跳跃信号上的收敛速度比多项式逼近快得多，有理逼近仅需O(poly log(1/ε))的度数，而多项式需Ω(poly(1/ε))。
• 特征向量可视化结果表明，高频分量（如φ₇₀₁, φ₇₀₂）能捕捉非光滑、不连续的信号，而RationalNet能有效建模这些分量。
• Dirichlet能量分析显示，使用前50%高频分量重构的信号ζ具有极高的能量（15,384.10），证实其非光滑特性，而RationalNet准确捕捉了该特性。