[论文解读] Understanding Structural Vulnerability in Graph Convolutional Networks

Liang Chen, Jintang Li+4 more|arXiv (Cornell University)|Aug 13, 2021

Advanced Graph Neural Networks参考文献 28被引用 4

一句话总结

本文将图卷积网络（GCNs）中非鲁棒的加权平均聚合识别为结构对抗攻击结构性脆弱性的根本原因。通过用中位数和截尾均值等高 breakdown-point 聚合器替代它，作者在不损失预测准确率的前提下，实现了对直接和间接结构攻击的最先进鲁棒性，该结论在四个真实世界数据集上得到验证。

ABSTRACT

Recent studies have shown that Graph Convolutional Networks (GCNs) are vulnerable to adversarial attacks on the graph structure. Although multiple works have been proposed to improve their robustness against such structural adversarial attacks, the reasons for the success of the attacks remain unclear. In this work, we theoretically and empirically demonstrate that structural adversarial examples can be attributed to the non-robust aggregation scheme (i.e., the weighted mean) of GCNs. Specifically, our analysis takes advantage of the breakdown point which can quantitatively measure the robustness of aggregation schemes. The key insight is that weighted mean, as the basic design of GCNs, has a low breakdown point and its output can be dramatically changed by injecting a single edge. We show that adopting the aggregation scheme with a high breakdown point (e.g., median or trimmed mean) could significantly enhance the robustness of GCNs against structural attacks. Extensive experiments on four real-world datasets demonstrate that such a simple but effective method achieves the best robustness performance compared to state-of-the-art models.

研究动机与目标

• 理解尽管在节点分类中表现优异，GCNs 为何仍对结构对抗攻击脆弱。
• 识别该脆弱性的根本原因，重点关注GCNs中聚合机制的作用。
• 提出一种理论基础坚实、简单有效的改进方法，通过使用鲁棒聚合函数增强GCN的鲁棒性。
• 验证中位数和截尾均值等高 breakdown-point 聚合器在目标结构攻击下能否显著提升鲁棒性。

提出的方法

• 使用 breakdown-point 理论进行理论分析，量化不同聚合函数的鲁棒性，表明加权平均具有较低的 breakdown-point。
• 将GCNs中标准的加权平均聚合替换为中位数或截尾均值聚合，二者均具有高 breakdown-point。
• 使用 breakdown-point 作为正式度量，比较不同聚合函数对边扰动的敏感性。
• 通过不同扰动预算下的目标逃避攻击（NETTACK）评估鲁棒性，实验基于四个真实世界数据集进行。
• 采用复合鲁棒性度量 ∑ₚ₌₁⁵ q × p_q，全面评估模型在不同攻击强度下的性能表现。
• 通过消融研究，比较所提聚合器与GCN、RGCN、SimPGCN及其他SOTA模型在直接和间接攻击下的表现。

实验结果

研究问题

• RQ1 尽管在节点分类中表现强劲，为何图卷积网络（GCNs）仍对结构对抗攻击脆弱？
• RQ2 GCNs中聚合函数的选择在多大程度上影响其对边扰动的鲁棒性？
• RQ3 具有高 breakdown-point 的聚合函数（如中位数或截尾均值）能否显著提升GCN对结构攻击的鲁棒性？
• RQ4 用更具鲁棒性的替代方案（如中位数）替换标准加权平均聚合，是否能在不损失预测准确率的前提下提升鲁棒性？

主要发现

• GCNs中的加权平均聚合具有较低的 breakdown-point，使其对微小结构扰动高度敏感，这解释了其核心脆弱性。
• 中位数和截尾均值聚合器表现出高 breakdown-point，能够有效抵抗破坏标准GCNs的对抗性边注入。
• 在四个真实世界数据集（Cora、Citeseer、Pubmed 和 Reddit）上，中位数聚合在直接攻击下优于所有基线模型，在间接攻击下表现匹配或超越基线。
• 所提方法在不损失准确率的前提下实现了最先进鲁棒性，即使在最大扰动预算为5时仍表现优异，表明鲁棒聚合既有效又实用。
• 鲁棒性度量 ∑ₚ₌₁⁵ q × p_q 显示，使用中位数或截尾均值的模型在所有扰动水平下均保持高性能，尤其在小预算（如1或2）时表现更优。
• 结果表明，RGCN中的注意力机制并未超越简单的鲁棒聚合器，说明鲁棒性更多取决于聚合设计，而非复杂的注意力机制。