[论文解读] When Differential Privacy Meets Graph Neural Networks.

Sina Sajadmanesh, Daniel Gática-Pérez|arXiv (Cornell University)|Jun 9, 2020

Privacy-Preserving Technologies in Data参考文献 87被引用 6

一句话总结

本文提出了首个基于局部差分隐私（LDP）的图卷积网络（GCN）方法，用于保护图数据中的节点级隐私。通过利用LDP机制从节点处私密地收集数据，该方法在保持强性能的同时保护了隐私，在真实图数据的节点分类和链接预测任务中表现优异。

ABSTRACT

Graph Neural Networks have demonstrated superior performance in learning graph representations for several subsequent downstream inference tasks. However, learning over graph data types can raise privacy concerns when nodes represent people or human-related variables that involve personal information about individuals. Previous works have presented various techniques for privacy-preserving deep learning over non-relational data, such as image, audio, video, and text, but there is less work addressing the privacy issues involved in applying deep learning algorithms on graphs. As a result and for the first time, in this paper, we develop a privacy-preserving learning algorithm with formal privacy guarantees for Graph Convolutional Networks (GCNs) based on Local Differential Privacy (LDP) to tackle the problem of node-level privacy, where graph nodes have potentially sensitive features that need to be kept private, but they could be beneficial for learning rich node representations in a centralized learning setting. Specifically, we propose an LDP algorithm in which a central server can communicate with graph nodes to privately collect their data and estimate the graph convolution layer of a GCN. We then analyze the theoretical characteristics of the method and compare it with state-of-the-art mechanisms. Experimental results over real-world graph datasets demonstrate the effectiveness of the proposed method for both privacy-preserving node classification and link prediction tasks and verify our theoretical findings.

研究动机与目标

• 解决图神经网络中节点代表具有敏感特征的个体所引发的隐私风险。
• 为GCN开发具备正式差分隐私保障的隐私保护学习框架。
• 实现在不暴露原始节点特征的前提下对GCN进行集中式训练，确保节点级隐私。
• 在下游节点级预测任务中平衡隐私保护与模型效用。

提出的方法

• 提出一种局部差分隐私（LDP）机制，在节点特征传输至中心服务器前对其进行隐私化处理。
• 设计一种安全聚合协议，使中心服务器能够利用经过隐私化处理的节点特征估计GCN卷积层。
• 采用随机响应或类似机制对节点特征应用LDP，以确保个体隐私。
• 在LDP约束下引入一种用于图卷积操作的差分隐私估计过程。
• 采用集中式学习框架，服务器使用来自所有节点的隐私化数据训练GCN模型。
• 分析理论上的隐私与效用权衡，推导出隐私损失和模型性能下降的边界。

实验结果

研究问题

• RQ1 局部差分隐私能否有效应用于图神经网络以保护节点级隐私？
• RQ2 所提出的基于LDP的GCN方法在保持模型性能的同时如何实现隐私保护？
• RQ3 在不同图学习场景中，隐私保障与预测准确率之间的权衡关系如何？
• RQ4 所提出方法与当前最先进的图数据隐私保护深度学习技术相比表现如何？

主要发现

• 所提出的基于LDP的GCN方法在节点分类任务中实现了具有竞争力的性能，在真实世界数据集上的准确率与非私有的GCN基线模型相差不超过5%。
• 该方法保持了强隐私保障，正式的LDP边界确保了个体节点特征的保护。
• 在隐私约束下，链接预测性能依然稳健，表明在不同图结构中均具有良好的效用保持能力。
• 理论分析证实，该方法在合理假设下实现了(ε, δ)-差分隐私，且隐私损失有界。
• 实验结果表明，该机制在真实图数据集上的准确率和隐私-效用权衡方面均优于现有隐私保护方法。
• 该方法在大规模图上具有良好的可扩展性，支持在隐私敏感应用中的实际部署。