[论文解读] Principled Evaluation of Differentially Private Algorithms using DPBench

Michael Hay, Ashwin Machanavajjhala+3 more|arXiv (Cornell University)|Dec 15, 2015

Privacy-Preserving Technologies in Data参考文献 28被引用 6

一句话总结

本文提出了 DPBench，一个用于评估差分隐私算法的系统化框架，重点关注一维和二维范围查询。该框架在 27 个数据集上评估了 15 种算法，结果表明：在低信号环境下，数据依赖型算法（如 DAWA 和 AGrid）优于简单的基线方法；而在高信号设置下，数据无关方法（如 Identity 和 Hb）更优，因其具有可预测的误差和更易部署的特性。

ABSTRACT

Differential privacy has become the dominant standard in the research community for strong privacy protection. There has been a flood of research into query answering algorithms that meet this standard. Algorithms are becoming increasingly complex, and in particular, the performance of many emerging algorithms is {\em data dependent}, meaning the distribution of the noise added to query answers may change depending on the input data. Theoretical analysis typically only considers the worst case, making empirical study of average case performance increasingly important. In this paper we propose a set of evaluation principles which we argue are essential for sound evaluation. Based on these principles we propose DPBench, a novel evaluation framework for standardized evaluation of privacy algorithms. We then apply our benchmark to evaluate algorithms for answering 1- and 2-dimensional range queries. The result is a thorough empirical study of 15 published algorithms on a total of 27 datasets that offers new insights into algorithm behavior---in particular the influence of dataset scale and shape---and a more complete characterization of the state of the art. Our methodology is able to resolve inconsistencies in prior empirical studies and place algorithm performance in context through comparison to simple baselines. Finally, we pose open research questions which we hope will guide future algorithm design.

研究动机与目标

• 解决差分隐私算法缺乏全面、标准化评估的问题，尤其是随着算法复杂度和数据依赖性增加的情况。
• 解决先前实证研究中存在的不一致和空白，以帮助从业者更可靠地选择算法。
• 提供一个系统化的基准测试框架，用于在多样化数据集和隐私参数下比较算法性能。
• 指导从业者根据数据集规模、形状和隐私预算（ε）选择最优算法，特别是在高信号与低信号环境下的差异。
• 揭示算法设计中的开放挑战，包括数据依赖性、参数调优、误差界以及效用的变异性。

提出的方法

• 设计 DPBench 作为差分隐私算法的标准化评估框架，聚焦于一维和二维范围查询工作负载。
• 实现一个全面的基准测试流水线，对 27 个具有不同规模和形状的真实世界数据集中的 15 种已发表算法进行评估。
• 使用平均误差和误差变异性作为关键效用指标，确保对噪声添加随机性具有鲁棒性。
• 将算法性能与简单、数据无关的基线方法（如拉普拉斯机制以及 Identity/Hb 方法）进行比较。
• 应用系统化的参数调优流程，评估自由参数对效用的影响，以区分易于调优与数据依赖型算法。
• 分析数据集规模与隐私预算（ε）在决定归一化误差时的可交换性，从而实现统一的性能表征。

实验结果

研究问题

• RQ1 在多样化的一维和二维数据集中，哪些差分隐私算法能实现最低误差？其性能如何随数据规模和形状变化？
• RQ2 在低隐私（低-ε）或小数据集条件下，数据依赖型算法与数据无关基线在效用和变异性方面有何差异？
• RQ3 参数调优能在多大程度上提升效用？这种提升在不同算法类别（如 MWEM 与 AHP）之间有何差异？
• RQ4 能否为数据依赖型算法建立公开的误差界？这对实际部署有何影响？
• RQ5 重视低误差变异性（风险规避）的用户与专注于最小化平均误差（风险寻求）的用户，在算法偏好上存在哪些差异？

主要发现

• 在高信号环境（高数据集规模和 ε）下，数据无关算法（如 Identity 和 Hb）因误差可预测且参数调优需求低，始终优于复杂的数据依赖型方法。
• 在低信号和中等信号环境下，数据依赖型算法（如 DAWA 和 AGrid）的误差显著低于基线方法，其中 DAWA 在一维范围查询中表现尤为出色。
• 对于二维范围查询，AGrid 持续优于数据无关方法；而在极稀疏数据集上，DAWA 显著优于两者。
• 数据集规模与隐私预算（ε）对归一化误差的影响具有可交换性，意味着二者可在性能建模中视为等效因素。
• 误差变异性是一个关键但常被忽视的指标——风险规避型用户可能更偏好误差方差更低的算法，即使其平均误差略高。
• 参数调优能显著提升效用，尤其对 MWEM 等算法效果明显；但对 AHP 等数据依赖型算法而言，调优更为复杂，表明亟需更优的调优策略。