[论文解读] Towards Omni-generalizable Neural Methods for Vehicle Routing Problems

Jianan Zhou, Yaoxin Wu+3 more|arXiv (Cornell University)|May 31, 2023

Vehicle Routing Optimization Methods被引用 11

一句话总结

本论文提出一种与模型无关的元学习框架，用以训练神经VRP求解器，在任务规模和分布上实现全维度泛化，并提供高效的一阶/截断的二阶训练近似，在TSP和CVRP上有演示。

ABSTRACT

Learning heuristics for vehicle routing problems (VRPs) has gained much attention due to the less reliance on hand-crafted rules. However, existing methods are typically trained and tested on the same task with a fixed size and distribution (of nodes), and hence suffer from limited generalization performance. This paper studies a challenging yet realistic setting, which considers generalization across both size and distribution in VRPs. We propose a generic meta-learning framework, which enables effective training of an initialized model with the capability of fast adaptation to new tasks during inference. We further develop a simple yet efficient approximation method to reduce the training overhead. Extensive experiments on both synthetic and benchmark instances of the traveling salesman problem (TSP) and capacitated vehicle routing problem (CVRP) demonstrate the effectiveness of our method. The code is available at: https://github.com/RoyalSkye/Omni-VRP.

研究动机与目标

• 动机：需要在问题规模和数据分布两个维度上实现神经VRP方法的泛化。
• 提出一种模型无关的元学习框架，用于初始化模型以实现对新任务的快速适应。
• 开发高效的训练近似以降低元训练开销。
• 在TSP和CVRP上展示对合成与基准实例的全泛化能力。

提出的方法

• 通过规模n和分布d来定义VRP任务，从而形成任务分布p(T)。
• 使用类似MAML的内循环/外循环来学习一个元模型θ0*，可以用K步梯度更新快速适应新任务。
• 采用分层任务调度器，根据任务难度和规模进展来调整任务采样。
• 在元梯度回归中，初始阶段使用二阶更新以保证稳定性，随后切换到一阶近似以降低成本（早停）。
• 通过在TSP上进行POMO的元训练并在跨尺寸/分布任务上测试零-shot和少-shot适应来评估。

实验结果

研究问题

• RQ1 一个元学习框架是否能提供一种初始化，使其能够对未见尺寸和分布的VRP任务进行快速适应？
• RQ2 引入分层任务调度器是否提升元训练效率和泛化能力？
• RQ3 在基于强化学习的VRP模型中，一阶近似是否足以实现稳定且高效的元训练？
• RQ4 在合成与基准实例集上，全泛化在TSP和CVRP上的表现如何？

主要发现

• 所提出的全泛化框架在TSP和CVRP上对多样的尺寸与分布均提升了零-shot与少-shot性能。
• 分层任务调度器在元训练期间帮助优先处理更难的任务和更大的尺寸，从而改善泛化。
• 在早期阶段使用二阶导数并通过对一阶更新进行早停，实现在稳定性与训练效率之间的平衡。
• 仅一阶的元训练在初期可能不太稳定，但在合适的调度和部分二阶更新的热启动下变得有效。
• 在合成数据和基准数据集（TSPLIB和CVRPLIB）上的实验显示，相对于基线和现有元学习方法取得一致的性能提升。