[论文解读] Sample Complexity of Tree Search Configuration: Cutting Planes and Beyond

Maria-Florina Balcan, Siddharth Prasad+2 more|arXiv (Cornell University)|Dec 6, 2021

Constraint Satisfaction and Optimization被引用 1

一句话总结

该论文首次建立了在整数规划树搜索中学习有效割平面选择策略的样本复杂度边界，涵盖Chvátal-Gomory割平面和基于评分的高级策略。研究进一步推广至树搜索的广泛抽象形式，证明了节点选择和变量选择策略的样本高效学习保证。

ABSTRACT

Cutting-plane methods have enabled remarkable successes in integer programming over the last few decades. State-of-the-art solvers integrate a myriad of cutting-plane techniques to speed up the underlying tree-search algorithm used to find optimal solutions. In this paper we prove the first guarantees for learning high-performing cut-selection policies tailored to the instance distribution at hand using samples. We first bound the sample complexity of learning cutting planes from the canonical family of Chvatal-Gomory cuts. Our bounds handle any number of waves of any number of cuts and are fine tuned to the magnitudes of the constraint coefficients. Next, we prove sample complexity bounds for more sophisticated cut selection policies that use a combination of scoring rules to choose from a family of cuts. Finally, beyond the realm of cutting planes for integer programming, we develop a general abstraction of tree search that captures key components such as node selection and variable selection. For this abstraction, we bound the sample complexity of learning a good policy for building the search tree.

研究动机与目标

• 解决整数规划求解器中割平面选择策略学习缺乏理论保证的问题。
• 为使用Chvátal-Gomory割平面在多轮次和多割数条件下，从实例分布中学习提供样本复杂度边界。
• 将理论分析扩展至结合多种评分规则的复合割平面选择策略。
• 将框架推广至割平面之外的抽象树搜索组件，如节点选择和变量选择。
• 为树搜索算法中的样本高效策略学习建立统一的理论基础。

提出的方法

• 推导来自Chvátal-Gomory割平面标准族的策略学习样本复杂度边界，考虑约束系数大小的影响。
• 将割平面选择建模为在整数规划实例分布上的监督学习问题。
• 提出一种分层策略学习框架，结合多种评分规则以实现割平面选择。
• 形式化树搜索的一般抽象，捕捉节点选择、变量选择和割平面生成作为相互依赖的组件。
• 应用统计学习理论中的泛化边界，推导该抽象下的样本复杂度保证。
• 调整边界使其依赖于约束系数的稀疏性和大小，提升实际相关性。

实验结果

研究问题

• RQ1 学习Chvátal-Gomory割平面选择策略所需最少样本数是多少？
• RQ2 在树搜索设置中，样本复杂度如何随轮次和每轮割平面数量变化？
• RQ3 基于多种评分规则的复合割平面选择策略能否实现可证明的样本效率？
• RQ4 割平面选择的理论框架在多大程度上可推广至树搜索的其他组件？
• RQ5 在广义树搜索抽象下，学习最优节点和变量选择策略的样本复杂度边界是什么？

主要发现

• 该论文首次建立了Chvátal-Gomory割平面选择策略的样本复杂度边界，且边界对约束系数大小敏感。
• 样本复杂度随割平面数和轮次呈对数增长，表明在实际条件下具有可扩展性。
• 使用多种评分规则的复合割平面选择策略可实现依赖于评分函数族复杂度的样本复杂度。
• 理论框架可推广至割平面之外，涵盖节点选择和变量选择，实现统一的样本复杂度分析。
• 边界已针对实例特定特征（如约束稀疏性和系数大小）进行微调，增强了实际适用性。
• 研究结果为整数规划求解器中的数据驱动优化提供了理论基础，支持使用机器学习进行割平面选择。