[论文解读] Searching Large Neighborhoods for Integer Linear Programs with Contrastive Learning

Taoan Huang, Aaron Ferber+3 more|arXiv (Cornell University)|Feb 3, 2023

Vehicle Routing Optimization Methods被引用 9

一句话总结

CL-LNS 使用对比学习来训练大邻域搜索中的破坏启发式，在多项基准测试中实现最新的 anytime 性能，并能推广到更大的实例。

ABSTRACT

Integer Linear Programs (ILPs) are powerful tools for modeling and solving a large number of combinatorial optimization problems. Recently, it has been shown that Large Neighborhood Search (LNS), as a heuristic algorithm, can find high quality solutions to ILPs faster than Branch and Bound. However, how to find the right heuristics to maximize the performance of LNS remains an open problem. In this paper, we propose a novel approach, CL-LNS, that delivers state-of-the-art anytime performance on several ILP benchmarks measured by metrics including the primal gap, the primal integral, survival rates and the best performing rate. Specifically, CL-LNS collects positive and negative solution samples from an expert heuristic that is slow to compute and learns a new one with a contrastive loss. We use graph attention networks and a richer set of features to further improve its performance.

研究动机与目标

• 通过在大邻域搜索（LNS）中学习驱动的破坏启发式来改进 ILP 求解的动机。
• 开发一种对比学习框架，以模仿专家 LB 启发式，同时利用正负样本实现更好的判别。
• 通过图注意网络提升特征丰富性，从而提升破坏子集选择质量。
• 展示对更大、未见实例的良好泛化能力，以及跨基准的有利 anytime 性能。

提出的方法

• 将 LNS 形式化为用于二进制 ILP 的 destroy 子集以重新优化。
• 使用 Local Branching (LB) 作为专家，通过求解 LB ILP 生成正/负样本。
• 在带对比（InfoNCE）损失的二分图 ILP 上训练策略网络（Graph Attention Network），以区分良好与较差的破坏子集。
• 用具有丰富节点/边特征和窗口化 incumbent 值的变量-约束二分图来表示 ILP 状态。
• 在每次 LNS 迭代中对训练好的策略进行贪婪选择（必要时通过采样），以选择 destroy 集合，并用 SCIP 求解对应的子 ILP。
• 在 MVC、MIS、CA、SC 基准上评估性能，比较 primal gap、primal integral、survival rate 和 best-performing rate 与基线。

实验结果

研究问题

• RQ1 CL-LNS 通过对比学习在多种问题类型上是否优于现有的 ML-guided 和非 ML 的 LNS 基线？
• RQ2 该方法是否能从小规模训练实例推广到更大、未见实例，同时保持强有力的 anytime 性能？
• RQ3 使用更丰富的特征集与 Graph Attention Networks（GAT）相较于此前的基于 GCN 的设置有何影响？
• RQ4 学得的策略与专家 LB 在每次迭代效率和最终解质量方面有何差异？

主要发现

• CL-LNS 在若干 ILP 基准上实现 state-of-the-art 的 anytime 性能，衡量指标包括 primal gap、primal integral、survival rate 与 best-performing rate。
• CL-LNS 具备良好的泛化性，在测试实例大小达到训练时见过规模的两倍时仍表现良好。
• 在消融实验中，对比损失、丰富特征与 GAT 的组合在多种设置下表现最佳，超越 IL-LNS 与其他基线。
• 由学得策略贪婪选择的行动在小型测试实例中通常与由 LB 推导的策略在效率与解质量上不相上下甚至更优。