[论文解读] Node-Level Membership Inference Attacks Against Graph Neural Networks

Xinlei He, Rui Wen+4 more|arXiv (Cornell University)|Feb 10, 2021

Privacy-Preserving Technologies in Data参考文献 55被引用 50

一句话总结

本文首次在图神经网络（GNN）上的黑盒设置下，全面的节点级成员资格推断攻击，提出 0-hop、2-hop 以及组合攻击，并分析图属性如何影响攻击成功率，同时提出防御措施。

ABSTRACT

Many real-world data comes in the form of graphs, such as social networks and protein structure. To fully utilize the information contained in graph data, a new family of machine learning (ML) models, namely graph neural networks (GNNs), has been introduced. Previous studies have shown that machine learning models are vulnerable to privacy attacks. However, most of the current efforts concentrate on ML models trained on data from the Euclidean space, like images and texts. On the other hand, privacy risks stemming from GNNs remain largely unstudied. In this paper, we fill the gap by performing the first comprehensive analysis of node-level membership inference attacks against GNNs. We systematically define the threat models and propose three node-level membership inference attacks based on an adversary's background knowledge. Our evaluation on three GNN structures and four benchmark datasets shows that GNNs are vulnerable to node-level membership inference even when the adversary has minimal background knowledge. Besides, we show that graph density and feature similarity have a major impact on the attack's success. We further investigate two defense mechanisms and the empirical results indicate that these defenses can reduce the attack performance but with moderate utility loss.

研究动机与目标

• 为 GNN 的节点级成员资格推断定义威胁模型。
• 在黑盒访问下开发三种攻击模型（0-hop、2-hop、组合）。
• 在多种 GNN 架构和数据集上评估攻击者的成功率。
• 识别影响攻击成功的因素（密度、特征相似度）。
• 提出并评估在考虑效用损失的同时减轻成员资格推断风险的防御措施。

提出的方法

• 沿三个维度对攻击者的背景知识进行分类：影子数据集、影子模型和节点拓扑。
• 定义并实现三种攻击模型：0-hop（仅使用节点特征）、2-hop（使用 2-hop 子图）、以及组合（同时使用两者输入）。
• 在一个不相交的影子数据集上训练影子 GNN 以模仿目标；通过对影子模型对所有节点的查询来生成攻击训练数据。
• 在目标模型或影子模型产生的后验概率上训练二元攻击模型（多层感知机 MLP）以预测是否属于成员。
• 用 0-hop 或 2-hop 输入查询目标模型以获取后验概率，并运行攻击模型进行成员推断。
• 在 GraphSAGE、GAT 和 GIN 上对四个数据集（Cora、Citeseer、Cora-full、LastFM Asia）评估攻击。

实验结果

研究问题

• RQ1 在节点级成员推断下，黑盒对手是否能够推断一个节点是否出现在 GNN 的训练集中？
• RQ2 哪些背景知识（影子数据/模型、节点拓扑）足以进行有效攻击？
• RQ3 0-hop 或 2-hop 的后验是否揭示更多成员信息，组合输入是否能提高推断？
• RQ4 子图密度和特征相似度等图属性如何影响攻击成功？
• RQ5 哪些防御措施能够在可接受的效用损失下缓解这些攻击？

主要发现

• 0-hop 攻击可以达到较高的准确性（例如 GraphSAGE 在 Citeseer 上的 0.791）。
• 0-hop 有时优于 2-hop 的成员推断有效性（例如 GraphSAGE 在 Cora 上，0-hop 0.754 vs 2-hop 0.671）。
• 综合攻击在大多数设置下通常表现最强。
• 攻击成功与目标模型的过拟合相关（训练-测试差距更大）。
• 节点密度、自我密度和特征相似度正向影响攻击成功；更高的密度和相似性增加推断风险。
• 防御措施可以降低攻击性能但会带来中等程度的效用损失。