[论文解读] Robust Graph Neural Networks via Probabilistic Lipschitz Constraints

Raghu Arghal, Eric Lei+1 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种基于频响响应控制的鲁棒图神经网络（GNN）框架，通过概率性Lipschitz约束确保在节点属性和图结构输入扰动下具有稳定性。通过约束图滤波器频响响应的$∞ll^\infty$范数，并采用场景方法实现可处理的优化，该方法在无需模型先验知识的情况下实现了模型无关的鲁棒性，且具备PAC风格的保证，在噪声和对抗性输入下优于数据增强和专用防御方法。

ABSTRACT

Graph neural networks (GNNs) have recently been demonstrated to perform well on a variety of network-based tasks such as decentralized control and resource allocation, and provide computationally efficient methods for these tasks which have traditionally been challenging in that regard. However, like many neural-network based systems, GNNs are susceptible to shifts and perturbations on their inputs, which can include both node attributes and graph structure. In order to make them more useful for real-world applications, it is important to ensure their robustness post-deployment. Motivated by controlling the Lipschitz constant of GNN filters with respect to the node attributes, we propose to constrain the frequency response of the GNN's filter banks. We extend this formulation to the dynamic graph setting using a continuous frequency response constraint, and solve a relaxed variant of the problem via the scenario approach. This allows for the use of the same computationally efficient algorithm on sampled constraints, which provides PAC-style guarantees on the stability of the GNN using results in scenario optimization. We also highlight an important connection between this setup and GNN stability to graph perturbations, and provide experimental results which demonstrate the efficacy and broadness of our approach.

研究动机与目标

• 为解决GNN在节点属性和图结构输入扰动下的脆弱性，特别是在去中心化控制等安全关键应用中的问题。
• 开发一种无需依赖数据漂移模型先验知识的鲁棒性框架，实现对未知数据分布的鲁棒训练。
• 在单一频域约束框架下统一信号扰动与结构扰动的鲁棒性。
• 利用场景方法实现计算高效、可扩展的训练，并提供理论稳定性保证。

提出的方法

• 将GNN的鲁棒性建模为图滤波器频响响应的$∞ll^\infty$范数约束，直接控制其关于节点属性的Lipschitz常数。
• 将离散频响约束推广为图移位算子谱上的连续、半无限约束，以实现跨图类别的通用鲁棒性。
• 通过场景方法将半无限问题松弛为机会约束优化，实现基于采样的求解，并具备基于VC理论的样本复杂度保证。
• 通过约束频响响应的导数，将同一框架应用于结构鲁棒性，将其与图拓扑变化下的稳定性关联起来。
• 利用高效的$∞ll^\infty$投影与场景优化求解松弛后的问题，保持计算效率。
• 通过频响响应边界约束滤波器系数来训练GNN，确保鲁棒性，且不依赖对抗性或噪声特定的数据增强。

实验结果

研究问题

• RQ1 能否利用GNN滤波器的频响响应约束来强制实现关于节点属性扰动的Lipschitz连续性？
• RQ2 如何通过频响响应约束在图类上实现连续、通用的信号漂移鲁棒性？
• RQ3 场景方法能否为未知数据漂移模型下的GNN提供计算高效且理论保证的鲁棒训练？
• RQ4 所提出的框架是否对结构扰动（如图拓扑变化）具有有效性？
• RQ5 与标准数据增强和对抗性训练相比，该方法在泛化到未见噪声类型方面表现如何？

主要发现

• Lipschitz GNN在不断增加的AWGN和$∞ll^\infty$对抗性噪声下仍保持高性能，优于标准GNN和数据增强方法，即使测试噪声水平超过训练噪声水平。
• 该方法在无需知晓攻击者对抗模型的情况下，性能可媲美$∞ll^\infty$-PGD对抗训练。
• 在动态群体控制任务中，约束后的GNN对未见噪声分布的泛化能力优于数据增强，且在对抗性输入下性能与$∞ll^\infty$-PGD相当。
• 场景方法成功在$[a,b]$区间内强制实现了连续的频响响应约束，如图2所示，最大绝对频响$H^*(\lambda)$在整个谱范围内保持有界。
• 通过约束频响响应的导数，该框架可推广至结构鲁棒性，将其与图扰动下的稳定性关联起来。
• 该方法在干净数据上仅造成极小的性能下降，展现出鲁棒性与准确率之间的良好权衡。