[论文解读] The Machine Learning for Combinatorial Optimization Competition (ML4CO): Results and Insights

Maxime Gasse, Quentin Cappart+39 more|arXiv (Cornell University)|Mar 4, 2022

Vehicle Routing Optimization Methods被引用 7

一句话总结

本文介绍了组合优化机器学习竞赛（ML4CO），该竞赛评估了机器学习模型在三项任务中替代启发式组件以增强精确求解器的效果：寻找可行解、生成紧致最优性证明以及配置求解器参数。竞赛表明，基于机器学习的方法，特别是用于参数调优的贝叶斯优化，在真实世界MILP基准测试中将SCIP求解器性能提升了最高达2.33倍。

ABSTRACT

Combinatorial optimization is a well-established area in operations research and computer science. Until recently, its methods have focused on solving problem instances in isolation, ignoring that they often stem from related data distributions in practice. However, recent years have seen a surge of interest in using machine learning as a new approach for solving combinatorial problems, either directly as solvers or by enhancing exact solvers. Based on this context, the ML4CO aims at improving state-of-the-art combinatorial optimization solvers by replacing key heuristic components. The competition featured three challenging tasks: finding the best feasible solution, producing the tightest optimality certificate, and giving an appropriate solver configuration. Three realistic datasets were considered: balanced item placement, workload apportionment, and maritime inventory routing. This last dataset was kept anonymous for the contestants.

研究动机与目标

• 探究在问题特定数据分布上进行训练时，机器学习是否能够提升传统组合优化求解器的性能。
• 解决重复出现的相似优化问题（例如每日电网调度或路径规划）的实用挑战，使其比通用求解器更高效。
• 在三个不同任务上评估机器学习模型：原始解寻找、对偶分支决策以及使用真实世界MILP基准的求解器配置。
• 通过基于Ecole的类似OpenAI Gym的API，提供标准化的基准测试框架，实现在多样化工业应用中的可复现评估。
• 通过举办包含Google提供的真实世界数据集和一个匿名工业路径规划问题的竞赛，推动数据驱动优化领域的创新。

提出的方法

• 竞赛使用基于Ecole库构建的统一API，暴露SCIP MIP求解器中的三个控制任务：原始、对偶和配置。
• 参赛者在三个公开的MILP基准上训练机器学习模型：平衡物品放置、工作量分配以及匿名海运库存路径规划。
• 在配置任务中，采用两级贝叶斯优化方法：将搜索空间划分为k个子空间，并使用代理模型和获取函数独立优化每个子空间。
• 采用XGBoost观察器，利用基尼重要性缩小搜索空间，减少无关参数，提升优化效率。
• 目标函数为在所有测试实例上配置SCIP后计算的平均原始-对偶间隙积分。
• 该方法采用SCIP默认值的完整解初始化，并通过组合每个子空间的部分最优配置，迭代更新全局最优解。

实验结果

研究问题

• RQ1 机器学习模型是否能有效替代精确组合优化求解器中的关键启发式组件，从而在问题分布上提升性能？
• RQ2 在真实世界MILP实例上，基于机器学习的超参数调优在多大程度上优于求解器的默认配置？
• RQ3 在结构和规模各不相同的多样化真实世界优化问题中，机器学习增强方法的鲁棒性如何？
• RQ4 迁移学习或元优化技术是否能提升同一应用领域内不同类型问题之间的泛化能力？
• RQ5 数据驱动的模型设计对混合整数规划中原始解和对偶解的效率与质量有何影响？

主要发现

• 在工作量分配基准上，表现最佳的配置方法相比SCIP默认参数，将原始-对偶间隙减少了2.33倍。
• 在匿名海运库存路径规划数据集上，调优后的配置使原始-对偶间隙减少了1.55倍，表明在复杂真实问题上表现强劲。
• 原始任务收到12份提交，对偶任务收到23份，配置任务收到15份，表明该领域具有强烈的研究兴趣。
• 基于XGBoost的特征重要性与贝叶斯优化的结合显著缩小了有效搜索空间，提升了收敛速度与解的质量。
• 源自真实工业应用的匿名数据集在多个问题实例上均表现出一致增益，验证了该方法的鲁棒性。
• 结果证实，基于历史问题实例训练的应用特定数据驱动机器学习模型，可显著优于通用求解器。