[论文解读] Unleashing the Power of Randomization in Auditing Differentially Private ML

Krishna Pillutla, Galen Andrew+4 more|arXiv (Cornell University)|May 29, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种用于差分隐私机器学习的新颖审计框架，通过利用随机化信标（randomized canaries）和可交换的检验统计量，将样本效率最高提升16倍。通过提出提升型差分隐私（LiDP）及利用经验相关性的自适应置信区间，该方法实现了对每个私有化训练模型在多个假设检验中的重复使用，显著减少了审计隐私保证所需的模型重新训练次数。

ABSTRACT

We present a rigorous methodology for auditing differentially private machine learning algorithms by adding multiple carefully designed examples called canaries. We take a first principles approach based on three key components. First, we introduce Lifted Differential Privacy (LiDP) that expands the definition of differential privacy to handle randomized datasets. This gives us the freedom to design randomized canaries. Second, we audit LiDP by trying to distinguish between the model trained with $K$ canaries versus $K - 1$ canaries in the dataset, leaving one canary out. By drawing the canaries i.i.d., LiDP can leverage the symmetry in the design and reuse each privately trained model to run multiple statistical tests, one for each canary. Third, we introduce novel confidence intervals that take advantage of the multiple test statistics by adapting to the empirical higher-order correlations. Together, this new recipe demonstrates significant improvements in sample complexity, both theoretically and empirically, using synthetic and real data. Further, recent advances in designing stronger canaries can be readily incorporated into the new framework.

研究动机与目标

• 为解决差分隐私机器学习模型审计的高计算成本问题，该问题通常需要数千次模型重新训练运行。
• 克服基于独立伯努利试验的标准审计方法所受的根本性 $1/\sqrt{n}$ 样本复杂度限制。
• 开发一个原则性框架，通过对称性和随机化实现对多个假设检验中私有化训练模型的高效复用。
• 设计能适应测试统计量之间经验高阶相关性的自适应置信区间，以提高统计功效。
• 实现先进信标设计与更高效审计流水线的无缝集成。

提出的方法

• 引入提升型差分隐私（LiDP），作为DP的扩展定义，允许使用随机数据集和拒绝集，从而支持随机信标的应用。
• 设计一种审计协议，向训练集中添加 $K > 1$ 个独立同分布（i.i.d.）的随机信标，并将使用 $K$ 个信标的模型与使用 $K-1$ 个信标的模型进行比较，即采用“留一法”策略。
• 利用由于 i.i.d. 信标带来的检验统计量的可交换性，使每个私有化训练模型可被复用于 $K$ 个不同的假设检验，避免了 $K$ 次独立的重新训练运行。
• 提出一类新的适用于可交换伯努利随机变量的自适应置信区间，以考虑经验高阶相关性，从而在精度上优于标准区间。
• 使用可交换伯努利（XBern）分布对检验统计量建模，并推导出比独立或 i.i.d. 假设允许的更紧的置信区间。
• 将最先进的信标设计（如数据 poisoning 和随机梯度信标）集成到新框架中，以增强检测能力。

实验结果

研究问题

• RQ1 我们能否在差分隐私机器学习模型的审计中突破 $1/\sqrt{n}$ 的样本复杂度障碍？
• RQ2 如何设计一种审计框架，使每个私有化训练模型可在不损害统计有效性的前提下，被复用于多个假设检验？
• RQ3 测试统计量之间的经验高阶相关性对隐私审计精度有何影响？
• RQ4 我们能否将标准信标审计方法扩展为使用随机化、i.i.d. 信标，同时保持或提升效率？
• RQ5 基于经验相关性的自适应置信区间与标准区间相比，在样本效率和准确性方面表现如何？

主要发现

• 所提方法在理论和合成数据集及真实数据集的实证结果中，均实现了相比标准审计最高达16倍的样本复杂度提升。
• 使用 i.i.d. 随机信标使检验统计量具备可交换性，从而允许每个私有化训练模型被复用于 $K$ 个不同的假设检验。
• 考虑经验高阶相关性的自适应置信区间相比标准区间显著提供了更紧的置信区间，尤其在实际依赖性较低时表现更优。
• 该框架支持先进信标设计（如数据 poisoning 和随机梯度信标）的无缝集成，提升了检测灵敏度。
• 实证结果表明，添加多个信标不会降低模型测试准确率，证实了审计过程具有非侵入性。
• 推荐使用二阶 Wilson 置信区间作为默认方案，因其性能强劲且实现简便，在所有测试的 $ε$ 值下均优于或至少不逊于四阶变体。