[论文解读] REAS: Combining Numerical Optimization with SAT Solving

Jeevana Priya Inala, Sicun Gao+2 more|arXiv (Cornell University)|Feb 13, 2018

Formal Methods in Verification参考文献 27被引用 7

一句话总结

ReaS 提出了一种新颖的框架，将数值优化与 SAT 求解相结合，用于合成同时包含离散与连续计算的程序。通过使用 Sigmoid 函数对布尔表达式（例如条件语句）进行平滑处理，并将布尔变量松弛为 [0,1] 区间内的实数，ReaS 实现了端到端的可微性，从而支持基于梯度的优化；同时利用 SAT 求解器固定离散决策并逃离局部最优——该方法能够高效合成以往 SMT 和混合整数规划求解器无法解决的复杂混合系统控制器。

ABSTRACT

In this paper, we present ReaS, a technique that combines numerical optimization with SAT solving to synthesize unknowns in a program that involves discrete and floating point computation. ReaS makes the program end-to-end differentiable by smoothing any Boolean expression that introduces discontinuity such as conditionals and relaxing the Boolean unknowns so that numerical optimization can be performed. On top of this, ReaS uses a SAT solver to help the numerical search overcome local solutions by incrementally fixing values to the Boolean expressions. We evaluated the approach on 5 case studies involving hybrid systems and show that ReaS can synthesize programs that could not be solved by previous SMT approaches.

研究动机与目标

• 解决现有 SMT 和混合整数规划求解器在合成同时包含离散与连续组件的程序时的局限性。
• 克服传统 SMT 求解器中离散与连续推理分离所导致的次优性，该问题会引起指数级的求解器调用并造成可扩展性差。
• 在具有布尔结构（例如条件语句）的程序中实现端到端可微性，以支持高效的基于梯度的优化。
• 利用 SAT 求解器通过固定布尔表达式的值来引导数值优化，提升收敛性并减少对精确平滑技术的依赖。
• 在现实世界中难以求解的混合系统控制器合成问题上，验证该方法的有效性，这些问题对以往方法而言是不可行的。

提出的方法

• 使用 Sigmoid 函数对布尔表达式（例如条件语句）进行平滑处理，以生成不连续逻辑的连续可微近似。
• 将布尔未知量松弛为 [0,1] 区间内的实数变量，从而在程序整体结构上支持基于梯度的数值优化。
• 使用自动微分计算整个程序的梯度，从而通过梯度下降实现高效的优化。
• 集成 SAT 求解器，根据约束条件逐步固定布尔表达式的取值，以缩小搜索空间并帮助逃离局部极小值。
• 扩展 SAT 求解器以支持软学习子句和建议，使在优化过程中若出现冲突时可动态修改决策。
• 使用 Sketch 框架作为前端，以表达包含未知量（实数和布尔值）、断言以及复杂数据结构（数组、代数数据类型）的高层程序。

实验结果

研究问题

• RQ1 在具有离散控制结构（例如条件语句）的程序中，是否可以在保留高效数值优化能力的同时实现端到端可微性？
• RQ2 将 SAT 求解与基于梯度的优化相结合，是否能在混合系统合成中相比纯 SMT 或混合整数规划方法提升收敛性和可扩展性？
• RQ3 通过 SAT 求解器固定布尔表达式取值来引导数值优化，是否能降低平滑逻辑中近似误差的影响？
• RQ4 ReaS 是否能够解决现有 SMT 求解器（如 dReal 和 Z3）无法处理的涉及混合系统参数化控制器的合成问题？
• RQ5 与依赖非可微结构的梯度自由优化方法相比，所提出的平滑与松弛技术是否更具有效性？

主要发现

• ReaS 在 3 至 11 分钟内成功合成了混合系统的参数化控制器，而 dReal 和 Z3 即使在 60 分钟内也无法求解相同基准测试。
• 一个需 Gurobi 超过 60 分钟求解的混合整数规划基准测试，ReaS 仅用 3 秒即完成求解，展现出对当前最先进的 MIP 求解器的显著性能优势。
• 利用 SAT 求解器固定布尔表达式取值，显著提升了对平滑过程中近似误差的鲁棒性，使得可采用更简单、更高效的 Sigmoid 基平滑方法。
• 通过平滑与松弛实现端到端可微性，ReaS 使得基于梯度的优化成为可能，而以往依赖 Nelder-Mead 或梯度自由技术的方法则效果较差。
• 将 SAT 求解与数值优化相结合，使 ReaS 能够利用连续与离散组件之间的结构依赖关系，避免了 DPLL(T) 基 SMT 求解器中常见的指数级求解器调用。
• 该方法在性能上优于神经程序学习方法和以往的平滑解释技术，通过结合符号推理与基于梯度的优化优势，实现了卓越表现。