[论文解读] Toward Detecting Violations of Differential Privacy.

Ding Ding, Yuxin Wang+3 more|arXiv (Cornell University)|May 25, 2018

Privacy-Preserving Technologies in Data参考文献 32被引用 1

一句话总结

本文提出一种统计方法，通过生成简短、人类可读的反例，自动检测存在缺陷的算法中违反差分隐私的情况。该方法反复运行算法，应用统计检验以检测隐私泄露，并在几秒内以高精度成功识别出错误实现。

ABSTRACT

The widespread acceptance of differential privacy has led to the publication of many sophisticated algorithms for protecting privacy. However, due to the subtle nature of this privacy definition, many such algorithms have bugs that make them violate their claimed privacy. In this paper, we consider the problem of producing counterexamples for such incorrect algorithms. The counterexamples are designed to be short and human-understandable so that the counterexample generator can be used in the development process -- a developer could quickly explore variations of an algorithm and investigate where they break down. Our approach is statistical in nature. It runs a candidate algorithm many times and uses statistical tests to try to detect violations of differential privacy. An evaluation on a variety of incorrect published algorithms validates the usefulness of our approach: it correctly rejects incorrect algorithms and provides counterexamples for them within a few seconds.

研究动机与目标

• 为解决检测差分隐私算法中细微错误的挑战，这些错误会违反其声称的隐私保证。
• 开发一种实用的自动化工具，为错误实现生成简洁、人类可理解的反例。
• 使开发人员能够在算法开发过程中快速调试和优化隐私保护算法。
• 评估统计测试在识别一系列已发表但错误的差分隐私实现中隐私违规行为的有效性。

提出的方法

• 该方法通过在相同输入上多次执行候选差分隐私算法，以收集输出分布。
• 应用统计假设检验，比较相邻输入下的输出分布，检测显著差异以指示隐私违规。
• 该方法利用统计检验的 p 值评估算法是否不满足差分隐私。
• 通过识别显示出统计显著偏差的输入对和输出模式来生成反例。
• 该方法设计轻量化且快速，支持在算法开发过程中进行交互式探索。

实验结果

研究问题

• RQ1 统计测试能否有效检测已发表但错误的算法中差分隐私的违规行为？
• RQ2 该方法能否生成既简短又对开发人员易于理解的反例？
• RQ3 该方法在实际中多快能识别出隐私违规？
• RQ4 该方法在多种类型的差分隐私实现缺陷中是否具有鲁棒性？

主要发现

• 该方法成功拒绝了所有测试的错误差分隐私算法，证实其具备检测隐私违规的能力。
• 反例在数秒内生成，使开发过程中的反馈得以快速实现。
• 该方法生成了人类可读的反例，清晰地说明了为何特定算法未能满足差分隐私。
• 即使在隐私违规细微、人工难以察觉的情况下，统计测试也证明了其有效性。