[论文解读] SoK: Differential Privacy on Graph-Structured Data

Tamara T. Mueller, Dmitrii Usynin+3 more|arXiv (Cornell University)|Mar 17, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文系统性地综述了图结构数据中的差分隐私（DP），按DP形式化方法——边级、节点级和图级DP——对51项研究进行了分类，并分析了其在图分析和图神经网络（GNNs）中的应用。研究识别出由于图的结构依赖性，将DP应用于图时面临的关键挑战，并提出了未来在私有合成图生成和可解释的私有GNNs方面的研究方向。

ABSTRACT

In this work, we study the applications of differential privacy (DP) in the context of graph-structured data. We discuss the formulations of DP applicable to the publication of graphs and their associated statistics as well as machine learning on graph-based data, including graph neural networks (GNNs). The formulation of DP in the context of graph-structured data is difficult, as individual data points are interconnected (often non-linearly or sparsely). This connectivity complicates the computation of individual privacy loss in differentially private learning. The problem is exacerbated by an absence of a single, well-established formulation of DP in graph settings. This issue extends to the domain of GNNs, rendering private machine learning on graph-structured data a challenging task. A lack of prior systematisation work motivated us to study graph-based learning from a privacy perspective. In this work, we systematise different formulations of DP on graphs, discuss challenges and promising applications, including the GNN domain. We compare and separate works into graph analysis tasks and graph learning tasks with GNNs. Finally, we conclude our work with a discussion of open questions and potential directions for further research in this area.

研究动机与目标

• 系统化并分类现有应用于图结构数据的差分隐私（DP）研究工作。
• 解决由于数据点之间复杂、非线性和稀疏的相互连接，导致图设置下DP缺乏统一形式化的问题。
• 分析将DP应用于图机器学习，特别是图神经网络（GNNs）时所面临的挑战，其中关系结构会放大隐私泄露风险。
• 识别并讨论开放问题，尤其集中在私有合成图生成和差分隐私GNNs的可解释性方面。
• 通过明确不同DP形式化方法（边级、节点级或图级）在特定图学习任务中的适用性，为实践者和研究人员提供指导。

提出的方法

• 对51项将差分隐私应用于图结构数据和GNNs的研究工作进行系统性文献综述。
• 根据受保护信息的粒度对DP形式化方法进行分类：边级、节点级和图级DP。
• 分析适用于图学习的DP机制，如DP-SGD的变体，包括梯度裁剪和噪声注入。
• 评估图生成和GNN训练中的隐私-效用权衡，特别是在边级和节点级DP下的表现。
• 使用可解释性工具（如GNNExplainer）评估差分隐私GNNs是否保留了与非私有模型相同的结构注意力模式。
• 比较DP在图分析任务（如链接预测、聚类）和图学习任务（如使用GNNs的节点分类）中的应用差异。

实验结果

研究问题

• RQ1 适用于图结构数据的差分隐私主要有哪些形式化方法？它们在隐私保障和效用方面有何差异？
• RQ2 图数据的相互关联特性如何影响个体隐私损失的计算以及DP机制的有效性？
• RQ3 将DP应用于图神经网络时面临哪些关键挑战，特别是模型收敛性、性能开销以及对推理攻击的敏感性？
• RQ4 差分隐私在多大程度上影响图基机器学习模型的可解释性和公平性？
• RQ5 在DP约束下，私有合成图生成当前存在哪些局限性，以及未来的研究方向是什么？

主要发现

• 边级DP是当前研究中最广泛采用的形式化方法，尤其适用于链接预测和图分类等任务。
• 节点级DP使用较少，但提供了更强的隐私保障，尽管通常伴随着更陡峭的隐私-效用权衡。
• 图级DP很少被使用，因其敏感度过高，且难以定义有意义的图级隐私损失。
• 将DP-SGD应用于GNNs会导致收敛速度变慢和训练时间增加，原因在于每样本梯度计算和噪声注入。
• 使用DP-SGD训练的私有GNNs在GNNExplainer分析下，其注意力模式与非私有模型相似，表明结构可解释性得以保留。
• 私有合成图生成仍处于发展初期，对复杂数据集的适用性有限，且缺乏对更强形式化方法（如节点级DP）的支持。