[论文解读] RL4CO: an Extensive Reinforcement Learning for Combinatorial Optimization Benchmark

Federico Berto, Chuanbo Hua+31 more|arXiv (Cornell University)|Jun 29, 2023

Software Engineering Research参考文献 58被引用 4

一句话总结

RL4CO 提供了一个统一的、开源的组合优化强化学习基准，包含 27 种问题环境和 23 种最先进基线模型。该基准通过将算法开发与工程开销解耦，实现了模块化、可复现的研究，实证研究显示，多样化的训练分布显著提升了在组合优化任务中的泛化能力。

ABSTRACT

Combinatorial optimization (CO) is fundamental to several real-world applications, from logistics and scheduling to hardware design and resource allocation. Deep reinforcement learning (RL) has recently shown significant benefits in solving CO problems, reducing reliance on domain expertise and improving computational efficiency. However, the absence of a unified benchmarking framework leads to inconsistent evaluations, limits reproducibility, and increases engineering overhead, raising barriers to adoption for new researchers. To address these challenges, we introduce RL4CO, a unified and extensive benchmark with in-depth library coverage of 27 CO problem environments and 23 state-of-the-art baselines. Built on efficient software libraries and best practices in implementation, RL4CO features modularized implementation and flexible configurations of diverse environments, policy architectures, RL algorithms, and utilities with extensive documentation. RL4CO helps researchers build on existing successes while exploring and developing their own designs, facilitating the entire research process by decoupling science from heavy engineering. We finally provide extensive benchmark studies to inspire new insights and future work. RL4CO has already attracted numerous researchers in the community and is open-sourced at https://github.com/ai4co/rl4co.

研究动机与目标

• 解决组合优化中强化学习缺乏统一基准的问题，该问题阻碍了可复现性和一致评估。
• 通过提供模块化、文档齐全的软件框架，减少工程开销和领域特定调优，支持基于强化学习的组合优化研究。
• 通过标准化环境、基线模型和评估协议，促进新强化学习算法和神经架构的开发与比较。
• 通过多样化训练分布和 VRP 变体，系统性研究神经组合优化中的泛化能力。
• 通过提供可扩展、生产就绪的实现，支持社区在组合优化领域构建基础模型。

提出的方法

• 设计一个基于强化学习和组合优化最佳实践的模块化、可扩展软件库，支持灵活配置环境、策略架构和强化学习算法。
• 实现 27 种多样化的组合优化环境，包括 TSP、VRP、CVRP、装箱问题和调度问题，均采用标准化接口。
• 集成 23 种最先进基线模型，如 POMO、MTPOMO、MVMoE 和 MVMoE-L，以实现公平且一致的比较。
• 支持多种 VRP 变体和坐标分布类型（例如，均匀分布、聚类分布、高斯分布），以研究在不同数据分布下的泛化能力。
• 通过可配置的数据生成管道和课程学习设置，支持在混合分布和任务上进行训练与评估。
• 提供全面的文档、日志记录和评估工具，以简化实验流程并确保可复现性。

实验结果

研究问题

• RQ1 在多样化数据分布（例如，混合规模和坐标类型）上进行训练，如何影响组合优化中的泛化性能？
• RQ2 在不同 VRP 变体上进行多任务训练，在未见过的问题实例上实现零样本泛化的程度如何？
• RQ3 统一的基准框架在多大程度上能减少工程开销并加速神经组合优化的研究进展？
• RQ4 不同策略架构（例如，MVMoE、MTPOMO）在组合优化问题的解质量与泛化能力方面表现如何？
• RQ5 在组合优化任务中，架构和训练多样性对分布外泛化的影响是什么？

主要发现

• 在混合分布上训练（例如，MDPOMO）显著提升了与训练集规模相似的问题实例的泛化性能，在 CVRPLib 数据集上平均差距降低了高达 3.8%。
• 在多种 VRP 变体上进行多任务训练（例如，MTPOMO）在更大、更复杂的分布上实现了更优的泛化性能，在 Set X（100–1000 个客户）上比单任务模型的差距降低了高达 13.9%。
• MVMoE-L 模型在 X-n101-k25 基准上取得了最佳性能，差距为 10.38%，表明专家混合机制在处理大规模 VRP 时的有效性。
• 当训练数据包含多种 VRP 变体和坐标分布时，泛化性能显著提升，表明任务间存在共享的基础知识。
• X-n819-k171 实例中，最强基线模型（MVMoE-L）的差距增加了 164.2%，凸显了在极端规模下泛化能力的挑战，也凸显了对更鲁棒模型的需求。
• 在所有 CVRPLib 数据集上，基于混合分布训练的模型（例如，MDPOMO）实现了更低的平均差距，其中 Set X 使用 MVMoE-L 时差距降低了 13.9%，表明具备强大的零样本泛化能力。