[论文解读] Structural Analysis of Branch-and-Cut and the Learnability of Gomory Mixed Integer Cuts

Maria-Florina Balcan, Siddharth Prasad+2 more|arXiv (Cornell University)|Apr 15, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文对分支定界割平面算法进行了结构化分析，通过机器学习方法学习最优 Gomory 混合整数（GMI）割平面参数时，建立了样本复杂度边界。通过多项式划分与几何分析，刻画了列约束向量变化时线性规划（LP）解与分支定界（B&C）搜索树的变化规律，作者推导出伪维数边界，从而为无限割平面族（包括 GMI 割平面）的割平面选择提供了泛化保证。

ABSTRACT

The incorporation of cutting planes within the branch-and-bound algorithm, known as branch-and-cut, forms the backbone of modern integer programming solvers. These solvers are the foremost method for solving discrete optimization problems and thus have a vast array of applications in machine learning, operations research, and many other fields. Choosing cutting planes effectively is a major research topic in the theory and practice of integer programming. We conduct a novel structural analysis of branch-and-cut that pins down how every step of the algorithm is affected by changes in the parameters defining the cutting planes added to the input integer program. Our main application of this analysis is to derive sample complexity guarantees for using machine learning to determine which cutting planes to apply during branch-and-cut. These guarantees apply to infinite families of cutting planes, such as the family of Gomory mixed integer cuts, which are responsible for the main breakthrough speedups of integer programming solvers. We exploit geometric and combinatorial structure of branch-and-cut in our analysis, which provides a key missing piece for the recent generalization theory of branch-and-cut.

研究动机与目标

• 理解 Gomory 混合整数割平面参数的变化如何影响整个分支定界（B&C）搜索树。
• 通过分析 B&C 的内在复杂度随割平面参数的变化，为基于机器学习的割平面选择提供泛化保证。
• 通过分析连续 LP 解变化与离散树结构之间的相互作用，弥合分支定界泛化理论的空白。
• 在整数规划分布假设下，推导适用于无限割平面族（如 GMI 割平面）的样本复杂度边界。
• 形式化割平面选择对 B&C 性能的影响，表明最优参数在不同实例分布下可能截然不同。

提出的方法

• 利用二次多项式不等式定义的边界，将约束向量空间划分为若干区域，使得在每个区域内 LP 解具有显式表达式。
• 通过追踪 LP 解在这些区域间的变动，分析 B&C 搜索树随割平面参数的变化。
• 使用多项式不等式描述产生相同 B&C 树结构的割平面参数向量集合，其次数受 $2dK$ 限制（$d$ 为约束次数）。
• 应用 Warren 定理与 Milnor-Thom 定理，界定 B&C 树结构保持不变的参数空间中的连通分量数量。
• 利用多项式曲面数量与连通分量数量，建立将割平面参数映射到 B&C 树节点数的函数类的伪维数边界。
• 借助 Balcan 等人 [6] 的主要结果，推导出 B&C 树大小函数类的伪维数边界为 $ O(mK^3\log U + mn^3K^2\log(mnK\tau) + mK^2\log(ab)) $。

实验结果

研究问题

• RQ1 当新增割平面时，LP 松弛解如何变化，特别是其在顶点间发生不连续跳跃时？
• RQ2 作为定义割平面参数的函数，分支定界搜索树的结构如何变化？
• RQ3 从割平面参数到 B&C 树大小的映射的内在复杂度是什么？如何利用几何与组合工具对其进行界定？
• RQ4 能否为分支定界中基于机器学习的割平面选择建立泛化保证？所需的样本复杂度是多少？
• RQ5 整数规划的分布差异如何影响割平面参数的最优选择？能否以形式化方式捕捉这一现象？

主要发现

• 割平面参数空间可被划分为 $ 2^{O(n^2)}K^{O(n^3)}(m+2n)^{O(n^3)}\tau^{O(n^3)} $ 个区域，使得 B&C 树结构在各区域内保持不变。
• 由 $ K $ 个连续 GMI 割平面诱导的 B&C 树结构的种类数，其伪维数被界定为 $ O(mK^3\log U + mn^3K^2\log(mnK\tau) + mK^2\log(ab)) $。
• 产生相同 B&C 树结构的割平面参数向量集合，可由 $ O(12^{n(n+1)}n^{2n(n+1)}K^{2n^{2}(n+1)}(m+2n)^{2n^{2}(n+1)}\tau^{5n^{2}(n+1)}) $ 个次数为 $ 4K^2 $ 的多项式不等式交集描述。
• 分析表明，割平面参数的微小变化可能因 LP 解的不连续跳跃而引起 B&C 树的剧烈变化，因此需要对结构进行精细建模。
• 结果表明，最优割平面参数在不同分布下可能截然不同——例如，在某一分布中较小的 $ \mu $ 更优，而在另一分布中较大的 $ \mu $ 更优——凸显了分布感知割平面学习的必要性。
• 所推导的边界为任意割平面选择方法（无论最优或次优）在未知整数规划分布中采样的训练集提供了泛化保证。