[论文解读] Power up! Robust Graph Convolutional Network via Graph Powering

Ming Jin, Heng Chang+2 more|arXiv (Cornell University)|May 24, 2019

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出 PowerGCN，一种鲁棒的图卷积网络，通过用幂化拉普拉斯算子替代标准图拉普拉斯算子，增强对抗鲁棒性，实现更好的谱分离并提升在拓扑攻击下的性能。该方法利用图幂化扩展感受野，并采用多尺度训练范式，提升在不同图结构间的迁移能力与泛化性能。

ABSTRACT

Graph convolutional networks (GCNs) are powerful tools for graph-structured data. However, they have been recently shown to be vulnerable to topological attacks. To enhance adversarial robustness, we go beyond spectral graph theory to robust graph theory. By challenging the classical graph Laplacian, we propose a new convolution operator that is provably robust in the spectral domain and is incorporated in the GCN architecture to improve expressivity and interpretability. By extending the original graph to a sequence of graphs, we also propose a robust training paradigm that encourages transferability across graphs that span a range of spatial and spectral characteristics. The proposed approaches are demonstrated in extensive experiments to simultaneously improve performance in both benign and adversarial situations.

研究动机与目标

• 通过重新思考图卷积的谱基础，解决标准 GCN 在拓扑攻击下的脆弱性。
• 克服经典图拉普拉斯算子在稀疏和噪声图中因高阶度节点导致的谱污染问题，从而在稀疏图中无法有效捕捉社区结构的局限性。
• 通过图幂化将感受野扩展至邻近邻居之外，提升 GCN 的空间与谱表达能力。
• 设计一种鲁棒的训练范式，促进在具有不同空间与谱特性的图之间实现迁移能力。
• 提供一种可证明鲁棒的谱卷积算子，在干净与对抗设置下均能保持性能。

提出的方法

• 提出一种基于幂化拉普拉斯矩阵的新图卷积算子，定义为 $ \mathcal{L}^{(k)} = (D^{-1/2} A D^{-1/2})^k $，以增强谱分离与鲁棒性。
• 提出一种多尺度图构建策略，从原始图生成一系列幂化图，每张图的阶数 $ k $ 逐步增加，以扩展感受野。
• 应用稀疏化策略控制高阶幂化邻接矩阵的计算成本，即使在密集图中也能保持高效性。
• 设计一种鲁棒的训练范式，通过加权聚合多个幂化图，提升在不同图拓扑结构间的泛化与迁移能力。
• 将幂化拉普拉斯算子集成到标准 GCN 架构中，替换 GCN 层更新规则中的原始拉普拉斯算子：$ \bm{H}^{(l+1)} = \psi(\mathcal{A} \bm{H}^{(l)} \bm{W}^{(l)}) $，其中 $ \mathcal{A} $ 现为幂化邻接矩阵。
• 以归一化邻接矩阵 $ \tilde{A} = D^{-1/2} A D^{-1/2} $ 作为幂化的基础，确保谱性质的稳定与可扩展性。

实验结果

研究问题

• RQ1 图幂化是否能改善 GCN 的谱分离能力，特别是在第二特征向量受高阶度节点污染的稀疏图中？
• RQ2 用幂化拉普拉斯算子替代标准图拉普拉斯算子，是否能实现对拓扑攻击的可证明更强鲁棒性？
• RQ3 多尺度图幂化在多大程度上提升了 GCN 在不同图结构间的泛化与迁移能力？
• RQ4 与现有鲁棒 GCN 变体相比，该方法在干净与对抗设置下的性能表现如何？
• RQ5 能否在不损失鲁棒性或性能的前提下，缓解高阶幂化图的计算成本？

主要发现

• PowerGCN 在 Cora、Citeseer 和 PubMed 数据集上均达到当前最优性能，在对抗测试集上准确率相比原始 GCN 最高提升 2.5%。
• 在 Citeseer 数据集上，PowerLap 在 $ k=3 $ 时于逃避攻击下达到 $ 78.5\pm 0.4 $ 的测试准确率，优于原始 GCN 及 SGC、MixHop 等基线方法。
• 该方法在多种攻击类型（如 $ \mathcal{A}_{abr} $、DICE、Meta-Attack）下均表现出一致的鲁棒性增益，在所有评估数据集上均获得正向鲁棒性增强得分。
• PowerGCN 的运行时间与基线方法相当（在 Facebook 社交网络上为 6.36 秒），表明稀疏化策略在保持高阶矩阵运算效率的同时有效控制了计算开销。
• 幂化拉普拉斯算子通过抑制异常特征值并增强第二特征向量的信号，显著改善了谱性质，尤其在稀疏图中表现更优。
• 多尺度训练范式显著提升了泛化能力，PubMed 数据集在干净设置下测试准确率达 $ 77.8\pm 0.9 $，在对抗攻击下（$ k=3 $）达到 $ 78.5\pm 0.4 $。