[论文解读] Private Graphon Estimation for Sparse Graphs

Christian Borgs, Jennifer Chayes+1 more|arXiv (Cornell University)|Jun 19, 2015

Privacy-Preserving Technologies in Data参考文献 27被引用 45

一句话总结

该论文提出了一种用于稀疏网络中图函数估计的节点差分隐私算法，采用非参数块模型近似方法，随着顶点数增加，该方法在 $L_2$ 范数下收敛于真实图函数 $W$。通过向边计数添加拉普拉斯噪声来确保隐私，在平均度数对数增长及适当块数缩放的温和条件下实现一致性。

ABSTRACT

We design algorithms for fitting a high-dimensional statistical model to a large, sparse network without revealing sensitive information of individual members. Given a sparse input graph $G$, our algorithms output a node-differentially-private nonparametric block model approximation. By node-differentially-private, we mean that our output hides the insertion or removal of a vertex and all its adjacent edges. If $G$ is an instance of the network obtained from a generative nonparametric model defined in terms of a graphon $W$, our model guarantees consistency, in the sense that as the number of vertices tends to infinity, the output of our algorithm converges to $W$ in an appropriate version of the $L_2$ norm. In particular, this means we can estimate the sizes of all multi-way cuts in $G$. Our results hold as long as $W$ is bounded, the average degree of $G$ grows at least like the log of the number of vertices, and the number of blocks goes to infinity at an appropriate rate. We give explicit error bounds in terms of the parameters of the model; in several settings, our bounds improve on or match known nonprivate results.

研究动机与目标

• 开发一种差分隐私算法，用于在不暴露个体数据的前提下估计大规模稀疏网络中的高维统计模型。
• 确保节点差分隐私，即任何顶点及其边的插入或删除对攻击者不可见。
• 提供理论一致性保证，证明估计的图函数在 $n \to \infty$ 时以 $L_2$ 范数收敛于真实的底层图函数 $W$。
• 推导显式的误差界，其在若干情形下与非私有结果相当或更优。
• 通过估计的图函数实现多路切割等全局图属性的私有估计。

提出的方法

• 该算法使用图函数的非参数块模型近似，将图划分为 $k$ 个块，并估计各块间的边概率。
• 应用最小二乘估计将块模型拟合到观测图，以最小化估计边概率与观测边概率之间的 $L_2$ 距离。
• 通过向块矩阵中的每个边计数独立添加尺度为 $4/n\epsilon$ 的拉普拉斯噪声来实现节点差分隐私。
• 将估计的边概率矩阵 $\hat{B}$ 乘以 $\hat{\rho}$（即估计的平均边密度），以对图函数估计进行归一化。
• 通过将噪声矩阵的条目四舍五入为 $1/n$ 的倍数，确保块模型参数的有效性。
• 利用辅助引理和尾部不等式，推导出度数和边概率的集中性与期望界，以控制估计误差。

实验结果

研究问题

• RQ1 能否在保持个体节点隐私的前提下，通过差分隐私算法在稀疏网络中估计图函数？
• RQ2 在何种条件下，私有图函数估计器在 $L_2$ 范数下收敛于真实图函数？
• RQ3 在相同设定下，私有估计器的误差界与非私有估计器相比如何？
• RQ4 私有估计器能否准确恢复如多路切割等全局图属性？
• RQ5 在稀疏图设定下，隐私参数 $\epsilon$、样本大小 $n$ 与估计精度之间的权衡是什么？

主要发现

• 在 $W$ 有界、平均度数至少以 $\log n$ 的速率增长，且块数 $k$ 以适当速率增加的条件下，私有估计器以 $n \to \infty$ 时在 $L_2$ 范数下收敛于真实图函数 $W$。
• 以高概率，估计误差被限制在 $O\left(\sqrt[4]{\frac{\lambda^2 \log k}{\rho n}} + \lambda \sqrt{\frac{k^2 \log n}{n\epsilon}} + \frac{\sqrt{\lambda}}{n\rho\epsilon}\right)$ 以内，其中 $\lambda$ 控制噪声尺度。
• 该算法通过在块矩阵的每个边计数上分配隐私预算，实现了 $\epsilon$-差分隐私的节点差分隐私。
• 归一化图函数估计 $\hat{\delta}_2(\hat{W}, W)$ 的误差界为 $\hat{\epsilon}_k^{(O)}(H_n(W)) + O\left(\sqrt[4]{\frac{\lambda^2 \log k}{\rho n}} + \lambda \sqrt{\frac{k^2 \log n}{n\epsilon}} + \frac{\sqrt{\lambda}}{n\rho\epsilon}\right)$，以高概率成立。
• 当 $n\rho\epsilon / \log n \to \infty$ 时，该方法实现几乎必然一致性，确保归一化估计器收敛于真实图函数。
• 该方法可实现对多路切割等全局图属性的私有估计，因为图函数估计在 $L_2$ 范数下具有一致性。