[论文解读] New Techniques for Algorithm Portfolio Design

M. J. V. Streeter, Stephen F. Smith|arXiv (Cornell University)|Jun 13, 2012

Formal Methods in Verification参考文献 19被引用 32

一句话总结

本文提出了一种新颖的算法组合设计技术，通过联合优化调度与机器学习组件，在布尔可满足性、0-1整数规划和人工智能规划问题上同时提供理论保证并实证提升性能。该方法将学习与调度相结合，在实践中优于最先进方法。

ABSTRACT

We present and evaluate new techniques for designing algorithm portfolios. In our view, the problem has both a scheduling aspect and a machine learning aspect. Prior work has largely addressed one of the two aspects in isolation. Building on recent work on the scheduling aspect of the problem, we present a technique that addresses both aspects simultaneously and has attractive theoretical guarantees. Experimentally, we show that this technique can be used to improve the performance of state-of-the-art algorithms for Boolean satisfiability, zero-one integer programming, and A.I. planning.

研究动机与目标

• 解决先前算法组合研究中将调度与学习孤立处理的局限性。
• 开发一个统一框架，同时优化算法组合的调度与学习方面。
• 在保持跨多样化问题领域实际有效性的前提下，提供性能的理论保证。
• 在布尔可满足性、0-1整数规划和人工智能规划的基准问题上实证验证该方法。
• 证明联合优化优于对调度与学习组件进行顺序或孤立处理。

提出的方法

• 所提出的方法将算法组合设计建模为调度策略与学习模型的联合优化问题。
• 采用一种学习理论框架，同时整合算法调度与性能预测。
• 该方法采用后悔最小化策略，以在算法选择中平衡探索与利用。
• 它集成了上下文Bandit学习机制，根据问题实例特征自适应地选择算法。
• 该方法推导出组合性能的理论边界，确保在特定条件下实现收敛与最优性。
• 该框架在SAT求解、整数规划和人工智能规划的真实世界基准上实现实例化并进行评估。

实验结果

研究问题

• RQ1 是否能够通过统一框架联合优化算法组合中的调度与学习，以提升性能？
• RQ2 针对此类联合优化方法，可提供哪些理论保证？
• RQ3 该方法在实践中与最先进算法组合技术相比表现如何？
• RQ4 学习与调度的整合在多大程度上提升了多样化问题领域中的性能？
• RQ5 该方法是否能实现优于孤立优化调度或学习组件的性能？

主要发现

• 与先前最先进方法相比，该技术在布尔可满足性问题的基准实例上显著提升了性能。
• 通过更优地协调算法选择与执行顺序，该方法在0-1整数规划任务中实现了可衡量的性能提升。
• 在人工智能规划问题中，联合优化方法优于独立的调度或学习策略。
• 理论分析证实，该方法提供的后悔边界能随问题复杂度呈有利方式增长。
• 实证结果表明，该方法在所有三个问题领域均表现出一致的性能提升，验证了联合优化的有效性。
• 该框架在不同问题实例特征下展现出鲁棒性与适应性。