[论文解读] Reinforcement Learning for Solving the Vehicle Routing Problem

Mohammadreza Nazari, Afshin Oroojlooy+2 more|arXiv (Cornell University)|Feb 12, 2018

Vehicle Routing Optimization Methods参考文献 26被引用 169

一句话总结

论文提出了一个端到端的强化学习框架，通过学习一个随机策略来解决带容量约束的VRP实例，在不对每个实例重新训练的情况下获得具有竞争力的解，并在中等规模问题上优于经典启发式方法和 OR-Tools。

ABSTRACT

We present an end-to-end framework for solving the Vehicle Routing Problem (VRP) using reinforcement learning. In this approach, we train a single model that finds near-optimal solutions for problem instances sampled from a given distribution, only by observing the reward signals and following feasibility rules. Our model represents a parameterized stochastic policy, and by applying a policy gradient algorithm to optimize its parameters, the trained model produces the solution as a sequence of consecutive actions in real time, without the need to re-train for every new problem instance. On capacitated VRP, our approach outperforms classical heuristics and Google's OR-Tools on medium-sized instances in solution quality with comparable computation time (after training). We demonstrate how our approach can handle problems with split delivery and explore the effect of such deliveries on the solution quality. Our proposed framework can be applied to other variants of the VRP such as the stochastic VRP, and has the potential to be applied more generally to combinatorial optimization problems.

研究动机与目标

• 开发一个基于 RL 的框架，在不进行实例特定再训练的情况下解决 VRP。
• 将 VRP 表示为一个 MDP，并学习一个输出可行路径的策略。
• 实现近似最优的解，优于经典启发式方法和 OR-Tools 在中等规模 VRP 实例上的表现。
• 证明该框架处理分割交付和动态变体的能力。
• 提出一个可扩展的框架，适用于其他组合优化问题。

提出的方法

• 对参数化的随机策略进行建模，该策略通过基于注意力的解码器生成解序列。
• 使用一组输入嵌入和一个不使用编码器 RNN 的递归解码器来处理集合型的 VRP 输入。
• 应用带上下文向量的注意力机制，以生成下一步目的地的概率分布。
• 使用策略梯度方法训练策略（这里未详细给出演员-评论家框架的完整细节）。
• 对不可行动作进行掩码以确保 VRP 的可行性，并在可选情况下通过松弛掩码实现分割交付。
• 展示束搜索以在稍许额外计算的情况下提高解质量。

实验结果

研究问题

• RQ1 端到端的 RL 框架是否能在不进行实例特定再训练的情况下产生近似最优的 VRP 解？
• RQ2 在解的质量和运行时间方面，RL 方法在不同 VRP 规模上与经典 VRP 启发式方法和 OR-Tools 相比如何？
• RQ3 该模型是否支持分割交付和动态（随机）VRP 变体？
• RQ4 仅使用注意力机制且不含编码器的简单架构是否足以处理集合型 VRP 输入？
• RQ5 在使用贪心解码器与束搜索解码器时，对解质量的影响分别是什么？

主要发现

• RL 框架在中等规模的 VRP 上优于 Clarke–Wright 和 Sweep 启发式方法，并与 OR-Tools 相竞争。
• 束搜索在贪心解码之上提升了解的质量，RL-BS 在大多数 VRP50 实例中优于 RL-greedy（例如 85.8%）。
• 对于 VRP10 和 VRP20，在束宽为 10 的情况下，该方法在大多数情况下的最优性差距约为 5–13%。
• 在 VRP50 和 VRP100 上，相比基线方法，RL 方法产生的巡回路大约在 61% 的实例中更短。
• 在松弛掩码下，允许多交付（分割交付）自然而然地出现，无需显式的手工工程。
• 该方法在问题规模增加时具有良好的可扩展性，与某些经典方法不同，不需要显式距离矩阵。