[论文解读] Privacy-Preserving Representation Learning on Graphs: A Mutual Information Perspective

Binghui Wang, Jiayi Guo+3 more|arXiv (Cornell University)|Jul 3, 2021

Advanced Graph Neural Networks参考文献 36被引用 6

一句话总结

本文提出了一种基于互信息的隐私保护图表示学习框架，通过最小化节点表示与敏感属性（标签或链接）之间的互信息，同时优化主任务（节点分类或链接预测）和隐私保护。通过使用互信息的变分下界并进行端到端训练，该方法在隐私推理任务中实现了接近随机猜测的性能，表明在真实图数据上实现了有效的隐私-效用权衡。

ABSTRACT

Learning with graphs has attracted significant attention recently. Existing representation learning methods on graphs have achieved state-of-the-art performance on various graph-related tasks such as node classification, link prediction, etc. However, we observe that these methods could leak serious private information. For instance, one can accurately infer the links (or node identity) in a graph from a node classifier (or link predictor) trained on the learnt node representations by existing methods. To address the issue, we propose a privacy-preserving representation learning framework on graphs from the \emph{mutual information} perspective. Specifically, our framework includes a primary learning task and a privacy protection task, and we consider node classification and link prediction as the two tasks of interest. Our goal is to learn node representations such that they can be used to achieve high performance for the primary learning task, while obtaining performance for the privacy protection task close to random guessing. We formally formulate our goal via mutual information objectives. However, it is intractable to compute mutual information in practice. Then, we derive tractable variational bounds for the mutual information terms, where each bound can be parameterized via a neural network. Next, we train these parameterized neural networks to approximate the true mutual information and learn privacy-preserving node representations. We finally evaluate our framework on various graph datasets.

研究动机与目标

• 解决图表示学习中的隐私泄露问题，其中节点表示可能泄露节点身份或链接等敏感信息。
• 将隐私保护形式化为最小化学习到的节点表示与敏感属性（节点标签或链接）之间互信息的目标。
• 开发一个统一框架，通过可微分的互信息估计方法，联合优化主学习性能与隐私保护。
• 在真实图数据集上评估该框架，并证明其在实现实用的效用-隐私权衡方面的有效性。

提出的方法

• 使用两个互信息目标形式化隐私保护目标：一个用于节点表示与节点标签之间的互信息（保护节点隐私），另一个用于表示与链接状态之间的互信息（保护链接隐私）。
• 为两个互信息项推导出可计算的变分下界，从而通过神经网络参数化实现可微分优化。
• 使用独立的神经网络估计互信息下界，并与节点嵌入函数及主任务头（分类器或预测器）联合训练。
• 通过超参数 λ 控制效用与隐私之间权衡的加权组合方式，优化主任务损失与隐私保护损失。
• 采用互信息神经估计（MINE）原理，以可扩展的端到端方式近似难以计算的互信息项。

实验结果

研究问题

• RQ1 互信息最小化是否能有效降低从学习到的节点表示中推断节点身份的风险？
• RQ2 统一框架在保护隐私的同时，能在多大程度上保持主任务（如节点分类、链接预测）的效用？
• RQ3 该框架的性能对效用与隐私之间权衡超参数 λ 的敏感程度如何？
• RQ4 该框架是否能在不显著降低主任务性能的前提下，实现在隐私推理任务上的近似随机猜测性能？

主要发现

• 在保护节点隐私时，该框架在节点分类任务上实现了接近随机猜测的性能（准确率 ≈ 50%），表明对身份推断具有强抵抗能力。
• 在保护链接隐私时，该框架将链接预测 AUC 降低至接近随机水平（≈ 0.5），同时保持了较高的主任务效用。
• 在广泛的 λ 值范围内，效用-隐私权衡保持稳定，当 λ 取中等值时，性能下降最小（准确率下降 1–4%）。
• 该方法在隐私保护方面优于基线模型，同时在主任务上保持了具有竞争力的性能，证明了效用与隐私之间实用的平衡。
• 在多个真实图数据上的实证结果表明，该框架能有效限制节点表示向敏感属性的信息泄露。