[论文解读] On Strengthening and Defending Graph Reconstruction Attack with Markov Chain Approximation

Zhanke Zhou, Chenyu Zhou+4 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出了一种新颖的马尔可夫链近似框架，系统地研究并增强了图神经网络（GNNs）上的图重构攻击（GRA），揭示了GNNs通过多种中间表示泄露了私有的邻接信息。该工作提出了MC-GRA以实现更强的攻击，以及MC-GPB用于防御，在六个数据集上实现了最先进性能，同时仅造成极小的准确率下降，且显著降低了攻击保真度。

ABSTRACT

Although powerful graph neural networks (GNNs) have boosted numerous real-world applications, the potential privacy risk is still underexplored. To close this gap, we perform the first comprehensive study of graph reconstruction attack that aims to reconstruct the adjacency of nodes. We show that a range of factors in GNNs can lead to the surprising leakage of private links. Especially by taking GNNs as a Markov chain and attacking GNNs via a flexible chain approximation, we systematically explore the underneath principles of graph reconstruction attack, and propose two information theory-guided mechanisms: (1) the chain-based attack method with adaptive designs for extracting more private information; (2) the chain-based defense method that sharply reduces the attack fidelity with moderate accuracy loss. Such two objectives disclose a critical belief that to recover better in attack, you must extract more multi-aspect knowledge from the trained GNN; while to learn safer for defense, you must forget more link-sensitive information in training GNNs. Empirically, we achieve state-of-the-art results on six datasets and three common GNNs. The code is publicly available at: https://github.com/tmlr-group/MC-GRA.

研究动机与目标

• 系统研究GNNs对图重构攻击（GRA）的脆弱性，GRA旨在从模型输出中恢复私有的邻接结构。
• 理解多种GNN表示（如节点嵌入、预测结果）如何泄露邻接信息的内在机制。
• 提出一种基于马尔可夫链近似的统一框架，支持灵活、自适应的攻击与防御策略。
• 设计一种基于信息论引导的防御机制，显著减少隐私泄露，同时避免显著的准确率下降。
• 在六个真实世界数据集和三种GNN架构上，实证验证所提方法的有效性。

提出的方法

• 将GNN推理过程建模为马尔可夫链，其中输入（邻接矩阵A，特征X）通过隐藏表示H_A传播至预测结果Y_hat。
• 提出MC-GRA，一种基于链的攻击方法，通过恢复的邻接矩阵Â近似原始马尔可夫链，并在多个变量（X, H_A, Y_hat, Y）上优化保真度。
• 引入MC-GPB，一种防御方法，通过信息论约束正则化图表示、邻接矩阵和标签之间的互依赖关系。
• 使用相似性度量（如MSE、KL、CKA、DP）衡量攻击与防御目标中原始变量与恢复变量之间的对齐程度。
• 通过可微分目标函数优化攻击与防御，引入可学习超参数（如α_c, α_p, β_p）以控制复杂度与隐私约束。
• 通过随机搜索或网格搜索在不同数据集上调整超参数，报告各设置下的最优值。

实验结果

研究问题

• RQ1 多种GNN表示（节点特征、嵌入、预测结果）在多大程度上导致了私有邻接结构的泄露？
• RQ2 马尔可夫链近似在多大程度上能够建模GNN中从输入到输出的信息传播过程，以支持攻击与防御？
• RQ3 在从GNN中提取多方面知识时，攻击保真度与模型准确率之间的权衡如何？
• RQ4 一种主动遗忘与链接敏感信息相关的防御机制，能否在极小准确率损失下显著降低重构保真度？
• RQ5 不同的相似性度量与正则化策略如何影响GRA中攻击与防御的性能？

主要发现

• MC-GRA通过在攻击链中自适应地结合多个信息丰富的变量（X, H_A, Y_A, Y），在六个数据集和三种GNN架构上实现了最先进攻击性能。
• MC-GPB在所有评估数据集上将攻击保真度降低至接近零，同时仅造成中等程度的准确率下降（例如Cora和Citeseer上<2%）。
• 最优防御超参数（β_p, β_c）在不同数据集间差异显著，表明需要针对数据集进行特定调优。
• 防御目标中相似性度量的选择（如KDE、DP、KL）显著影响隐私保护的有效性。
• 当先验知识包含节点特征和隐藏表示时，攻击可实现高保真度（例如Cora上AUC > 0.9），凸显多方面信息泄露的风险。
• 该防御机制在不同GNN架构和数据集上均表现稳健，涵盖社交网络（Polblogs、Brazil）和引文网络（AIDS、USA）等。