[论文解读] Proving Expected Sensitivity of Probabilistic Programs

Gilles Barthe, Thomas Espitau+3 more|arXiv (Cornell University)|Aug 8, 2017

Bayesian Modeling and Causal Inference被引用 11

一句话总结

本文引入了期望 f-敏感性，作为概率程序的程序敏感性的一种推广，利用期望耦合形式化验证平均情况行为。它提出了关系程序逻辑 eRHL，支持对马尔可夫链中的算法稳定性与快速混合等性质进行组合式推理。

ABSTRACT

Program sensitivity, also known as Lipschitz continuity, describes how small changes in a program's input lead to bounded changes in the output. We propose an average notion of program sensitivity for probabilistic programs---expected sensitivity---that averages a distance function over a probabilistic coupling of two output distributions from two similar inputs. By varying the distance, expected sensitivity recovers useful notions of probabilistic function sensitivity, including stability of machine learning algorithms and convergence of Markov chains. Furthermore, expected sensitivity satisfies clean compositional properties and is amenable to formal verification. We develop a relational program logic called $\mathbb{E}$pRHL for proving expected sensitivity properties. Our logic features two key ideas. First, relational pre-conditions and post-conditions are expressed using distances, a real-valued generalization of typical boolean-valued (relational) assertions. Second, judgments are interpreted in terms of expectation coupling, a novel, quantitative generalization of probabilistic couplings which supports compositional reasoning. We demonstrate our logic on examples beyond the reach of prior relational logics. Our main example formalizes uniform stability of the stochastic gradient method. Furthermore, we prove rapid mixing for a probabilistic model of population dynamics. We also extend our logic with a transitivity principle for expectation couplings to capture the path coupling proof technique by Bubley and Dyer, and formalize rapid mixing of the Glauber dynamics from statistical physics.

研究动机与目标

• 形式化概率程序的平均情况敏感性概念，将经典敏感性推广以处理概率输出。
• 解决先前关系逻辑在推理期望值与概率性质组合验证方面的局限性。
• 设计一种程序逻辑，支持使用定量关系推理验证概率系统中的收敛性、稳定性与混合性。
• 实现对复杂性质（如随机梯度方法的均匀稳定性与种群动力学中的快速混合）的组合式验证。
• 在形式化逻辑框架内内化高级证明技术（如路径耦合），用于概率验证。

提出的方法

• 提出期望 f-敏感性，其中来自相似输入的输出之间期望距离被有界于输入距离的函数 f 之内。
• 引入期望耦合，作为概率耦合的定量推广，支持对距离期望值的推理。
• 设计关系程序逻辑 eRHL，其中前提与后置条件使用实值距离而非布尔断言表达。
• 采用基于期望耦合的新判断语义，支持关系期望的组合式验证。
• 提出期望耦合的传递性原理，以形式化统计物理中的路径耦合技术。
• 将该逻辑应用于验证非平凡性质，如随机梯度下降的均匀稳定性和 Glauber 动力学的快速混合。

实验结果

研究问题

• RQ1 如何将经典程序敏感性推广至概率程序，以推理平均情况输出行为？
• RQ2 何种逻辑框架支持概率程序中基于期望值的关系性质的组合式验证？
• RQ3 能否在形式化程序逻辑中内化高级证明技术（如路径耦合）以用于概率验证？
• RQ4 期望耦合如何用于验证概率系统（如马尔可夫链与机器学习算法）中的收敛性与稳定性？
• RQ5 与布尔断言相比，在关系程序逻辑中使用实值距离在基础与实践层面有何优势？

主要发现

• 期望 f-敏感性捕捉了机器学习中的算法稳定性，表明模型输出差异的期望值被输入距离的函数有界。
• eRHL 逻辑成功验证了随机梯度方法的均匀稳定性，该结果超越了先前关系逻辑的能力。
• 路径耦合技术被形式化为 eRHL 中的一条规则，实现了对统计物理中 Glauber 动力学快速混合的直接验证。
• 期望耦合支持简洁的组合式推理，支持复杂概率性质的模块化验证。
• 该框架通过内化关系期望与高级证明原理，推广并改进了先前方法（如 apRHL 与程序产品分析）。
• 该方法实现了对种群动力学与马尔可夫链等概率模型中收敛性与敏感性的形式化验证。