[论文解读] Towards More Practical Adversarial Attacks on Graph Neural Networks

Jiaqi Ma, Shuangrui Ding+1 more|arXiv (Cornell University)|Jun 9, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用 14

一句话总结

本文提出了一种在现实约束下对图神经网络（GNNs）的实用黑盒对抗攻击：攻击者只能访问并修改节点的极小子集，且无法访问模型参数或预测结果。通过将GNN的结构归纳偏置与随机游走联系起来，作者推导出一种与模型无关的重要性评分（RWCS），并引入一种贪心修正过程，显著提高了误分类率，在Cora、Citeseer和PubMed等真实数据集上优于基线方法。

ABSTRACT

We study the black-box attacks on graph neural networks (GNNs) under a novel and realistic constraint: attackers have access to only a subset of nodes in the network, and they can only attack a small number of them. A node selection step is essential under this setup. We demonstrate that the structural inductive biases of GNN models can be an effective source for this type of attacks. Specifically, by exploiting the connection between the backward propagation of GNNs and random walks, we show that the common gradient-based white-box attacks can be generalized to the black-box setting via the connection between the gradient and an importance score similar to PageRank. In practice, we find attacks based on this importance score indeed increase the classification loss by a large margin, but they fail to significantly increase the mis-classification rate. Our theoretical and empirical analyses suggest that there is a discrepancy between the loss and mis-classification rate, as the latter presents a diminishing-return pattern when the number of attacked nodes increases. Therefore, we propose a greedy procedure to correct the importance score that takes into account of the diminishing-return pattern. Experimental results show that the proposed procedure can significantly increase the mis-classification rate of common GNNs on real-world data without access to model parameters nor predictions.

研究动机与目标

• 为解决现有对抗攻击设置与现实约束之间的差距，即攻击者对节点的访问有限，且对模型参数或预测结果一无所知。
• 开发一种在严重限制节点访问和模型可观测性条件下仍有效的GNN黑盒攻击策略。
• 利用GNN的结构归纳偏置——特别是其与随机游走的关联——作为在缺乏模型梯度或预测结果的情况下可操作的攻击信息来源。
• 通过引入一种贪心过程，修正误分类率的收益递减效应，基于经验损失动态优化节点重要性评分。

提出的方法

• 该方法通过将GNN反向传播与随机游走过程关联，推导出一种与模型无关的重要性评分（RWCS），实现在无梯度访问情况下的黑盒节点选择。
• 通过用基于图结构的PageRank类似评分替代梯度范数，将白盒基于梯度的攻击推广至黑盒设置。
• 引入一种贪心修正过程，以调整重要性评分，从而应对在攻击更多节点时误分类率呈现的收益递减模式。
• 该方法仅依赖图结构，无需访问模型参数、预测结果或训练数据。
• 在三个基准数据集（Cora、Citeseer、PubMed）上，使用GCN和JK-Net模型，在不同攻击预算和节点访问阈值下对方法进行了评估。

实验结果

研究问题

• RQ1 当模型参数和预测结果未知时，能否利用GNN中的结构归纳偏置来实施有效的黑盒攻击？
• RQ2 随着攻击节点数量的增加，误分类率如何变化，是否表现出收益递减的模式？
• RQ3 能否通过随机游走推导出的与模型无关的重要性评分，有效指导黑盒攻击中的节点选择？
• RQ4 贪心修正过程是否能通过解决节点选择中的收益递减效应，提升误分类率？

主要发现

• 所提出的GC-RWCS攻击策略在相同黑盒约束下，显著优于所有基线方法，在三个基准数据集上的模型准确率均显著降低。
• 在Cora数据集上，节点访问比例为10%时，GC-RWCS将GCN准确率从85.6%降至78.5%，下降7.1个百分点，优于Pagerank和Betweenness超过1.5个百分点。
• 在30%节点访问比例下，GC-RWCS将Cora上GCN的准确率降至80.7%，显著优于Random（82.6%）和Degree（80.7%）基线。
• 在所有数据集和模型上，与所有基线相比，该方法在误分类率上均实现了统计显著的提升（p < 0.05）。
• 实证结果证实了误分类率存在收益递减模式，验证了引入贪心修正过程以优化节点选择的必要性。