[论文解读] Optimal Accounting of Differential Privacy via Characteristic Function

Yuqing Zhu, Jinshuo Dong+1 more|arXiv (Cornell University)|Jun 16, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用 12

一句话总结

本文提出了一种基于隐私损失随机变量的特征函数（ϕ-函数）的统一差分隐私会计框架，实现了Rényi DP、f-DP、隐私轮廓和PLD等主要DP形式之间的最优、无损转换。所提出的解析傅里叶会计员（AFA）采用ϕ-函数的复对数的符号表示，并结合高斯求积法，实现了高精度、紧致的隐私会计，优于RDP的组合性能，并在无需渐近近似或离散化选择的情况下达到最先进水平的结果。

ABSTRACT

Characterizing the privacy degradation over compositions, i.e., privacy accounting, is a fundamental topic in differential privacy (DP) with many applications to differentially private machine learning and federated learning. We propose a unification of recent advances (Renyi DP, privacy profiles, $f$-DP and the PLD formalism) via the \emph{characteristic function} ($ϕ$-function) of a certain \emph{dominating} privacy loss random variable. We show that our approach allows \emph{natural} adaptive composition like Renyi DP, provides \emph{exactly tight} privacy accounting like PLD, and can be (often \emph{losslessly}) converted to privacy profile and $f$-DP, thus providing $(ε,δ)$-DP guarantees and interpretable tradeoff functions. Algorithmically, we propose an \emph{analytical Fourier accountant} that represents the \emph{complex} logarithm of $ϕ$-functions symbolically and uses Gaussian quadrature for numerical computation. On several popular DP mechanisms and their subsampled counterparts, we demonstrate the flexibility and tightness of our approach in theory and experiments.

研究动机与目标

• 将Rényi DP、f-DP、隐私轮廓和PLD等不同的差分隐私形式统一到一个数学框架下。
• 通过引入‘主导对’的概念，解决PLD形式在基础层面的局限性，实现最坏情况下的隐私损失分析。
• 实现所有主要DP表示之间的无损、精确转换，确保最优的隐私-效用权衡。
• 开发一种高效、数值稳定的隐私会计算法，避免使用渐近近似和离散化误差。
• 提供一个实用的开源工具（AFA），支持在多种DP机制（包括子采样机制）中实现紧致、自适应的组合。

提出的方法

• 论文形式化定义了‘主导对’分布，将最坏情况下的隐私损失分析推广至现有PLD局限性之外的场景。
• 对隐私损失随机变量的特征函数（ϕ-函数）进行符号化表示，以支持精确的解析计算。
• 利用ϕ-函数的复对数，将矩会计员扩展至复数α，从而自然支持自适应组合。
• 采用基于高斯求积的数值积分方案，高精度、高效地计算(ε,δ)-DP的δ(ε)。
• 该框架通过经典的傅里叶/拉普拉斯变换关系，支持ϕ-函数、隐私轮廓、f-DP和PLD表示之间的双向、无损转换。
• 解析傅里叶会计员（AFA）被实现为一个符号计算流水线，开源发布，以支持实际部署。

实验结果

研究问题

• RQ1 能否通过单一数学框架，将现有的差分隐私形式——Rényi DP、f-DP、隐私轮廓和PLD——统一到一个共同的表示下？
• RQ2 如何将PLD形式推广，以处理最坏情况下的相邻数据集对不存在或难以识别的机制？
• RQ3 在DP中实现紧致、自适应组合时，表示和计算隐私损失分布的最优方式是什么？
• RQ4 隐私损失随机变量的特征函数能否实现向所有主要DP表示的精确、无损转换？
• RQ5 如何在不依赖渐近近似或离散化的情况下，使(ε,δ)-DP保证的数值计算既准确又高效？

主要发现

• 所提出的框架通过基于ϕ-函数的变换，实现了所有主要DP形式（包括f-DP、隐私轮廓、PLD和Rényi DP）之间的无损转换。
• 引入‘主导对’概念，推广了PLD形式，使得即使在无法显式识别相邻数据集对的情况下，也能进行最坏情况下的隐私分析。
• 解析傅里叶会计员（AFA）在多种机制（包括子采样高斯和拉普拉斯机制）中，实现了比Rényi DP更紧致的隐私会计。
• AFA利用高斯求积法高精度计算(ε,δ)-DP保证，避免了FFT-based离散化或CLT-based近似。
• 实验结果表明，AFA在紧致性上与Dong等人（2021）和Koskela等人（2021）的最先进方法相当，但无其计算或近似限制。
• 开源的AFA实现为机器学习和联邦学习等多样化DP应用提供了实用、高效且精确的隐私会计支持。