[论文解读] Warm-starting constraint generation for mixed-integer optimization: A Machine Learning approach

Asunción Jiménez-Cordero, Juan M. Morales+1 more|arXiv (Cornell University)|Mar 24, 2021

Constraint Satisfaction and Optimization被引用 4

一句话总结

本论文提出了一种机器学习增强的暖启动策略，用于混合整数线性规划（MILP）中的约束生成，其中从历史MILP实例中离线学习一个不变约束集（包含绑定约束和关键非绑定约束），并用于在线优化的初始化。该方法在保持最优性和可行性保证的同时，将在线求解时间减少了高达60%，并在k=5时，使93%的机组组合测试案例在一次迭代内获得最优解。

ABSTRACT

Mixed Integer Linear Programs (MILP) are well known to be NP-hard (Non-deterministic Polynomial-time hard) problems in general. Even though pure optimization-based methods, such as constraint generation, are guaranteed to provide an optimal solution if enough time is given, their use in online applications remains a great challenge due to their usual excessive time requirements. To alleviate their computational burden, some machine learning techniques (ML) have been proposed in the literature, using the information provided by previously solved MILP instances. Unfortunately, these techniques report a non-negligible percentage of infeasible or suboptimal instances. By linking mathematical optimization and machine learning, this paper proposes a novel approach that speeds up the traditional constraint generation method, preserving feasibility and optimality guarantees. In particular, we first identify offline the so-called invariant constraint set of past MILP instances. We then train (also offline) a machine learning method to learn an invariant constraint set as a function of the problem parameters of each instance. Next, we predict online an invariant constraint set of the new unseen MILP application and use it to initialize the constraint generation method. This warm-started strategy significantly reduces the number of iterations to reach optimality, and therefore, the computational burden to solve online each MILP problem is significantly reduced. Very importantly, all the feasibility and optimality theoretical guarantees of the traditional constraint generation method are inherited by our proposed methodology. The computational performance of the proposed approach is quantified through synthetic and real-life MILP applications.

研究动机与目标

• 为解决在线应用中求解MILP所面临的高计算负担问题，传统约束生成方法速度过慢。
• 克服先前机器学习方法忽略关键非绑定约束的局限性，避免导致次优或不可行解。
• 开发一种方法，在加速收敛的同时，保留经典约束生成方法的理论最优性和可行性保证。
• 通过从历史问题实例中学习并重用一个不变约束集，实现MILP的更快在线求解。
• 通过引入约束的结构知识（不仅限于绑定约束），提升机器学习模型在MILP中的预测能力。

提出的方法

• 对每个历史MILP实例离线识别不变约束集，定义为为保持最优性必须包含的最小约束集合。
• 训练机器学习模型（如k-NN或$σ$-learner）基于问题参数（如右侧值）预测不变约束集。
• 将预测得到的不变约束集用作新、未见MILP实例中约束生成算法的暖启动。
• 从学习到的初始集合开始应用约束生成，迭代添加被违反的约束，直至达到最优性。
• 利用不变集合包含对最优性至关重要的非绑定约束（而不仅限于解处活跃的约束）的事实。
• 确保从原始约束生成方法继承理论上的可行性与最优性保证。

实验结果

研究问题

• RQ1 机器学习模型能否基于历史数据有效预测新MILP实例的不变约束集？
• RQ2 将学习到的不变约束集用作暖启动，是否能显著减少约束生成的迭代次数？
• RQ3 所提方法在加速在线MILP求解的同时，能否保持最优性和可行性保证？
• RQ4 与传统约束生成方法及忽略非绑定约束的机器学习方法相比，该方法的性能如何？
• RQ5 在实际应用（如机组组合）中，不变约束集预测准确率与求解时间减少程度的相关性有多大？

主要发现

• 在机组组合问题中，所提方法将在线求解时间减少至原始MILP时间的约40%，实现了显著加速。
• 对于k=5的93%机组组合实例，由于不变约束集预测准确，最优解在一次约束生成迭代内即被找到。
• 当k=100时，近100%的问题在单次迭代内达到最优解，表明预测准确率高且鲁棒性强。
• 该方法优于忽略非绑定约束的基线方法，后者常因暖启动质量差而导致次优或不可行解。
• 该方法保持了完整的最优性和可行性保证，而许多现有机器学习辅助MILP方法存在次优风险。
• 计算负担显著降低，该方法在远短于全量约束生成的时间内，实现了等效结果。