[论文解读] Restart Strategy Selection using Machine Learning Techniques

Shai Haim, Toby Walsh|ArXiv.org|Jul 29, 2009

Formal Methods in Verification参考文献 18被引用 6

一句话总结

本文提出 LMPick，一种基于机器学习的方法，通过结合可满足性分类与运行时间预测模型，选择 SAT 求解器的最佳重启策略。利用易于计算的特征，LMPick 在多种基准家族中均优于固定、几何、Luby 和嵌套重启策略，且从不逊于随机策略选择，在如 crypto-sat 等困难实例上显著提升性能。

ABSTRACT

Restart strategies are an important factor in the performance of conflict-driven Davis Putnam style SAT solvers. Selecting a good restart strategy for a problem instance can enhance the performance of a solver. Inspired by recent success applying machine learning techniques to predict the runtime of SAT solvers, we present a method which uses machine learning to boost solver performance through a smart selection of the restart strategy. Based on easy to compute features, we train both a satisfiability classifier and runtime models. We use these models to choose between restart strategies. We present experimental results comparing this technique with the most commonly used restart strategies. Our results demonstrate that machine learning is effective in improving solver performance.

研究动机与目标

• 为解决 SAT 求解器重启策略选择的挑战，因不同策略在各类基准家族中表现各异。
• 通过机器学习预测给定问题实例最有效的重启策略，以提升求解器性能。
• 减少对不适应实例特性的通用重启策略的依赖。
• 证明结合分类与运行时间预测模型可实现优于静态或通用策略的策略选择。

提出的方法

• 使用易于计算的特征训练可满足性分类器，以预测某实例是否可能可满足。
• 训练运行时间估计模型，以预测不同重启策略在给定实例上的性能表现。
• 利用运行时间模型预测的排名，从候选策略组合中选择表现最佳的重启策略（s_b）。
• 采用组合策略方法，使所选策略 s_b 指导求解器的重启行为。
• 使用分层机器学习框架，整合分类与运行时间模型的预测结果，以实现策略选择。
• 通过相对排名评估策略性能：将所选策略 s_b 与所有其他策略比较，统计有多少策略表现更优。

实验结果

研究问题

• RQ1 机器学习技术能否有效预测给定 SAT 实例的最佳重启策略，从而在性能上超越通用策略？
• RQ2 LMPick 在不同基准家族中与常用通用重启策略（如固定、几何、Luby、嵌套）相比表现如何？
• RQ3 将可满足性分类与运行时间预测相结合，能在多大程度上提升重启策略选择效果？
• RQ4 尽管模型性能良好，为何 LMPick 在 crypto-sat 数据集中表现欠佳？其数据集的结构特性如何解释这一现象？

主要发现

• LMPick 在多数基准家族中优于所有常用通用重启策略，且性能从不逊于随机策略选择。
• 在 crypto-unsat 数据集中，LMPick 选择的策略平均可超越 37.05% 的其他策略，表明其性能强劲。
• 在 crypto-sat 数据集中，LMPick 选择的策略平均可超越 32.24% 的其他策略，但性能劣于其他数据集，原因在于策略特定可解性较高。
• crypto-sat 上的性能差距源于：许多实例仅能被极少数策略求解，导致次优策略选择极易引发超时。
• 当所选策略为前两名时，所有数据集的成功概率相近；然而，在 crypto-sat 上若选择第三或第四名策略，性能会急剧下降。
• 结果证实，预测策略的相对排名比绝对准确性更为关键，验证了 LMPick 中基于排名选择策略的有效性。