[论文解读] Synthesizing Coupling Proofs of Differential Privacy

Aws Albarghouthi, Justin Hsu|arXiv (Cornell University)|Sep 15, 2017

Privacy-Preserving Technologies in Data被引用 16

一句话总结

本文提出了一种新颖的、自动化的技术，用于使用耦合策略验证 $ε$-差分隐私——一种将隐私资源战略性地分配的游戏理论隐私证明形式。通过将问题编码为霍恩模耦合（HMC）约束，并使用未解释函数将概率约束转换为逻辑约束，该方法能够通过 FairSquare 验证器全自动验证复杂的差分私有算法，如 Report Noisy Max、指数机制和稀疏向量机制。

ABSTRACT

Differential privacy has emerged as a promising probabilistic formulation of privacy, generating intense interest within academia and industry. We present a push-button, automated technique for verifying $\varepsilon$-differential privacy of sophisticated randomized algorithms. We make several conceptual, algorithmic, and practical contributions: (i) Inspired by the recent advances on approximate couplings and randomness alignment, we present a new proof technique called coupling strategies, which casts differential privacy proofs as a winning strategy in a game where we have finite privacy resources to expend. (ii) To discover a winning strategy, we present a constraint-based formulation of the problem as a set of Horn modulo couplings (HMC) constraints, a novel combination of first-order Horn clauses and probabilistic constraints. (iii) We present a technique for solving HMC constraints by transforming probabilistic constraints into logical constraints with uninterpreted functions. (iv) Finally, we implement our technique in the FairSquare verifier and provide the first automated privacy proofs for a number of challenging algorithms from the differential privacy literature, including Report Noisy Max, the Exponential Mechanism, and the Sparse Vector Mechanism.

研究动机与目标

• 解决在标准组合定理之外自动化验证复杂差分私有算法的挑战。
• 开发一种系统化、自动化的耦合证明构造方法，减少对人工交互式证明构造的依赖。
• 实现对 Report Noisy Max 和稀疏向量机制等复杂机制的验证，这些机制此前因存在缺陷或不完整的证明而受到困扰。
• 通过基于约束的综合方法，弥合高级证明技术（如近似耦合和随机性对齐）与自动验证之间的差距。
• 为将自动隐私验证扩展至 $(\varepsilon,\delta)$-差分隐私及其他概率关系属性奠定基础。

提出的方法

• 引入耦合策略作为博弈论框架，其中隐私保护策略必须在所有仅在一条记录上不同的输入对中获胜。
• 将验证问题表述为一组结合一阶霍恩子句与概率耦合条件的霍恩模耦合（HMC）约束。
• 使用未解释函数将概率约束转换为逻辑约束，从而实现与现有霍恩子句求解器的集成。
• 采用“合成-验证”循环迭代优化候选耦合策略，利用程序综合与不变式生成技术。
• 在 FairSquare 验证器中实现该方法，实现了对复杂差分私有算法的端到端自动证明。
• 通过模板化限制 Skolem 关系，确保有效耦合族的构建，并保障合成策略的正确性。

实验结果

研究问题

• RQ1 能否开发一种完全自动化的技术，用于验证超越标准组合定理的复杂随机算法的 $ε$-差分隐私？
• RQ2 如何系统性地将基于耦合的差分隐私证明编码为自动化综合的约束？
• RQ3 能否有效将耦合证明中的概率约束转换为使用未解释函数的逻辑约束，以实现可扩展的验证？
• RQ4 现有霍恩子句求解器在多大程度上可被扩展以处理差分隐私等概率关系属性？
• RQ5 当前自动技术在验证 $(\varepsilon,\delta)$-差分隐私方面存在哪些局限性，又该如何克服？

主要发现

• 所提出的 HMC 约束系统成功将差分隐私证明编码为一个综合问题，通过标准霍恩子句求解实现了自动化。
• FairSquare 验证器成功为 Report Noisy Max、指数机制和稀疏向量机制生成了自动证明——这些算法此前因证明微妙或有缺陷而备受困扰。
• 通过未解释函数将概率约束转换为逻辑约束，实现了对耦合族的可扩展且可靠的推理。
• 该方法优于先前的半自动化系统（如 LightDP），消除了在产品程序构造中手动提供循环不变式的需要。
• 该方法表明，耦合策略可被系统性地合成，为关系程序逻辑中的交互式证明构造提供了一种可扩展的替代方案。
• 该工作为未来 $(\varepsilon,\delta)$-差分隐私及其他概率关系属性（如均匀性和独立性）的自动化验证奠定了基础。