[论文解读] Multi-Vehicle Routing Problems with Soft Time Windows: A Multi-Agent Reinforcement Learning Approach

Ke Zhang, Meng Li+3 more|arXiv (Cornell University)|Feb 13, 2020

Vehicle Routing Optimization Methods参考文献 28被引用 17

一句话总结

本文提出了一种多智能体强化学习方法——多智能体注意力模型（MAAM），用于求解具有软时间窗的多车辆路径问题（MVRPSTW）。通过将路径规划建模为使用注意力机制的编码器-解码器架构的迭代路径生成过程，并采用多智能体强化学习结合无监督辅助网络进行训练，该方法在离线训练后实现了近乎即时的推理，计算时间极短，且解决方案质量极高，优于 Google OR-Tools 和传统启发式方法，在合成基准测试中表现优异。

ABSTRACT

Multi-vehicle routing problem with soft time windows (MVRPSTW) is an indispensable constituent in urban logistics distribution systems. Over the past decade, numerous methods for MVRPSTW have been proposed, but most are based on heuristic rules that require a large amount of computation time. With the current rapid increase of logistics demands, traditional methods incur the dilemma between computational efficiency and solution quality. To efficiently solve the problem, we propose a novel reinforcement learning algorithm called the Multi-Agent Attention Model that can solve routing problem instantly benefit from lengthy offline training. Specifically, the vehicle routing problem is regarded as a vehicle tour generation process, and an encoder-decoder framework with attention layers is proposed to generate tours of multiple vehicles iteratively. Furthermore, a multi-agent reinforcement learning method with an unsupervised auxiliary network is developed for the model training. By evaluated on four synthetic networks with different scales, the results demonstrate that the proposed method consistently outperforms Google OR-Tools and traditional methods with little computation time. In addition, we validate the robustness of the well-trained model by varying the number of customers and the capacities of vehicles.

研究动机与目标

• 为应对城市物流配送系统中因物流需求上升而带来的计算挑战，解决传统启发式方法在 MVRPSTW 问题上计算速度过慢的问题。
• 开发一种可扩展、高效的路径规划解决方案，在显著降低计算时间的同时保持高解决方案质量。
• 探索使用深度强化学习结合注意力机制求解具有软时间窗的复杂多智能体路径规划问题的可行性。
• 验证训练模型在客户数量和车辆容量变化情况下的鲁棒性。

提出的方法

• 将车辆路径问题建模为基于编码器-解码器框架的迭代路径生成过程，通过多头注意力层捕捉路径规划中的长距离依赖关系。
• 采用多智能体强化学习框架，每个车辆作为独立智能体，实现去中心化的决策与可扩展的训练。
• 引入无监督辅助网络以提供额外的训练信号，提升策略学习的稳定性和收敛性。
• 在不同规模的合成网络上离线训练模型，实现在部署阶段的实时推理。
• 注意力机制使模型在路径构建过程中能够动态关注相关客户及时间窗约束。
• 编码器处理问题的完整状态，而解码器则通过关注未访问客户，逐步生成路径。

实验结果

研究问题

• RQ1 基于注意力机制的多智能体强化学习方法是否能有效求解具有软时间窗的 MVRPSTW 问题，同时保持高解决方案质量？
• RQ2 与传统启发式求解器（如 Google OR-Tools）相比，所提方法在性能和推理速度方面表现如何？
• RQ3 该训练模型在客户数量和车辆容量变化时，其鲁棒性达到何种程度？
• RQ4 无监督辅助网络是否能显著提升多智能体路径规划中的训练效率和策略性能？

主要发现

• 在所有四个合成网络基准测试中，所提出的 MAAM 方法在解决方案质量方面均显著优于 Google OR-Tools 和传统启发式方法。
• 经过大量离线训练后，模型实现了近乎即时的推理，计算时间极短，展现出强大的可扩展性和效率。
• 在客户数量和车辆容量变化的测试中，模型保持了高性能和强鲁棒性，表明其具有出色的泛化能力。
• 引入无监督辅助网络后，训练过程收敛更快，策略学习更加稳定。
• 注意力机制实现了有效的长距离依赖建模，从而生成了更连贯、高效的路径。