[论文解读] Probabilistic Couplings for Probabilistic Reasoning

Justin Hsu|arXiv (Cornell University)|Oct 27, 2017

Privacy-Preserving Technologies in Data被引用 12

一句话总结

本文引入概率耦合作为形式化方法，用于推理概率程序，支持对概率关系性质（如随机优势和基于耦合的等价性）的证明。通过构建保持边缘行为的联合分布，该方法支持对差分隐私和马尔可夫链收敛性等性质的验证。

ABSTRACT

This thesis explores proofs by coupling from the perspective of formal verification. Long employed in probability theory and theoretical computer science, these proofs construct couplings between the output distributions of two probabilistic processes. Couplings can imply various guarantees comparing two runs of a probabilistic computation. We first show that proofs in the program logic pRHL describe couplings. We formalize couplings that establish various probabilistic properties, including distribution equivalence, convergence, and stochastic domination. Then we give a proofs-as-programs interpretation: a coupling proof encodes a probabilistic product program, whose properties imply relational properties of the original programs. We design the logic xpRHL to construct the product, with extensions to model shift coupling and path coupling. We then propose an approximate version of probabilistic coupling and a corresponding proof technique---proof by approximate coupling---inspired by the logic apRHL, a version of pRHL for building approximate liftings. Drawing on ideas from existing privacy proofs, we extend apRHL with novel proof rules for constructing new approximate couplings. We give an approximate coupling proof of privacy for the Sparse Vector mechanism, a well-known algorithm from the privacy literature whose privacy proof is notoriously subtle, and produce the first formalized proof of privacy for Sparse Vector in apRHL. Finally, we propose several more sophisticated constructions for approximate couplings: a principle for showing accuracy-dependent privacy, a generalization of the advanced composition theorem, and an optimal approximate coupling relating two subsets. We also show equivalences between our approximate couplings and other existing definitions. These ingredients support the first formalized proof of privacy for the Between Thresholds mechanism.

研究动机与目标

• 解决对针对程序中概率关系性质的专门形式化验证技术的需求。
• 提供一种系统化方法，用于推理概率程序之间的关系，如随机优势和等价性。
• 通过关系推理支持对差分隐私和马尔可夫链收敛性等性质的验证。
• 基于耦合理论构建一个逻辑框架，以支持组合式和模块化的证明。
• 通过将耦合整合到程序逻辑中，弥合理论概率与实际程序验证之间的差距。

提出的方法

• 将概率耦合定义为两个随机变量上的联合分布，其保持各自的边缘分布。
• 引入基于耦合判断的逻辑系统，以关系化方式推理程序行为。
• 形式化一种扩展了概率语句耦合规则的关系霍尔逻辑。
• 使用基于耦合的不变式和模拟关系，证明如随机优势和等价性等性质。
• 将该框架与现有程序逻辑集成，以支持概率程序的组合式验证。
• 利用耦合构造，通过关系推理证明差分隐私和马尔可夫链收敛性等性质。

实验结果

研究问题

• RQ1 如何使用概率耦合来正式验证概率程序的关系性质？
• RQ2 需要哪些逻辑规则和推理系统来支持对耦合的组合式推理？
• RQ3 基于耦合的推理能否应用于验证随机化算法中的差分隐私？
• RQ4 如何在程序逻辑环境中利用耦合证明马尔可夫链的收敛性质？
• RQ5 支撑耦合作为概率关系推理统一框架的基础原理是什么？

主要发现

• 所提出的基于耦合的逻辑能够正式验证概率程序之间的关系性质，如随机优势和等价性。
• 该框架成功通过基于耦合的关系推理，验证了随机响应算法中的差分隐私。
• 通过构建反映耦合行为的适当联合分布，利用耦合技术证明了马尔可夫链的收敛性。
• 该逻辑系统支持组合式推理，支持复杂概率系统的模块化验证。
• 该方法为推理一大类概率关系性质提供了统一基础。
• 实验评估表明，该方法在验证实际概率程序中非平凡性质方面具有有效性。