[论文解读] Reinforcement Learning to Solve NP-hard Problems: an Application to the CVRP

Leo Ardon|arXiv (Cornell University)|Jan 14, 2022

Vehicle Routing Optimization Methods被引用 6

一句话总结

该论文将深度强化学习（DRL）应用于求解NP难的容量受限车辆路径问题（CVRP），采用基于Transformer的策略网络，通过REINFORCE算法进行训练，以自回归方式生成解。尽管未达到最佳已知解，该DRL方法在10倍速于传统求解器的情况下实现了近似最优解，能够在未见实例上实现快速推理，展现出在实时商业应用中的强大潜力。

ABSTRACT

In this paper, we evaluate the use of Reinforcement Learning (RL) to solve a classic combinatorial optimization problem: the Capacitated Vehicle Routing Problem (CVRP). We formalize this problem in the RL framework and compare two of the most promising RL approaches with traditional solving techniques on a set of benchmark instances. We measure the different approaches with the quality of the solution returned and the time required to return it. We found that despite not returning the best solution, the RL approach has many advantages over traditional solvers. First, the versatility of the framework allows the resolution of more complex combinatorial problems. Moreover, instead of trying to solve a specific instance of the problem, the RL algorithm learns the skills required to solve the problem. The trained policy can then quasi instantly provide a solution to an unseen problem without having to solve it from scratch. Finally, the use of trained models makes the RL solver by far the fastest, and therefore make this approach more suited for commercial use where the user experience is paramount. Techniques like Knowledge Transfer can also be used to improve the training efficiency of the algorithm and help solve bigger and more complex problems.

研究动机与目标

• 评估深度强化学习作为传统精确算法与启发式方法的可扩展、泛化性强的替代方案，用于求解NP难的组合优化问题。
• 评估DRL在容量受限车辆路径问题（CVRP）上的性能，CVRP是经典且计算上具有挑战性的路径规划问题。
• 从解的质量、推理速度和训练效率三个方面，对比RL-based解法与成熟求解器（如LKH3）的性能。
• 探索知识迁移技术——特别是TSP策略复用——以加速训练并提升在不同问题实例上的泛化能力。
• 探究强化学习是否能自动学习有效的启发式规则，而无需人工设计规则，并在未见问题实例上实现泛化。

提出的方法

• 将CVRP形式化为强化学习框架内的序列决策问题，其中智能体根据当前状态选择下一个访问的客户。
• 采用基于Transformer的神经网络，结合多头注意力机制，编码车辆路径环境的状态，实现对客户位置的排列不变表示。
• 使用REINFORCE算法与策略梯度方法训练策略网络，以最大化期望奖励（即最小化总路径成本）。
• 通过使用预训练的TSP策略初始化RL策略，实现知识迁移，从而减少CVRP实例的训练时间并提升收敛性。
• 在部署阶段采用束搜索推理策略，从训练好的策略中快速生成高质量解。
• 使用解的总成本、与最优解的差距以及推理时间等指标，在标准基准实例（如CMT1、CMT2）上评估性能。

实验结果

研究问题

• RQ1 深度强化学习能否在无需人工编码规则的情况下，为CVRP学习到有效的启发式规则？其解的质量与传统求解器相比如何？
• RQ2 与精确方法和启发式方法（如LKH3）相比，基于RL的求解器在未见问题实例上的推理速度如何，尤其在大规模实例上？
• RQ3 从预训练的TSP策略中进行知识迁移，能在多大程度上提升CVRP的训练效率与解的质量？
• RQ4 在未重新训练的情况下，RL策略能否良好泛化到新的、未见的CVRP实例上？其生成解的速度如何？
• RQ5 与传统的MILP方法相比，RL框架是否能更自然地处理更复杂的VRP变体（如具有随机需求或时间窗的情况）？

主要发现

• 在CMT1基准（n=50，Q=160）上，基于RL的求解器平均成本为531.9，与最优解的差距为1.4%，与最佳已知启发式方法相当。
• 尽管未达到最优解，该RL模型生成近似最优解的速度超过LKH3启发式求解器的10倍，后者需超过一分钟才能收敛。
• 通过使用预训练的TSP策略进行知识迁移，显著缩短了训练时间并提升了收敛性，且在CMT1上的解质量（1.4%差距）与通用训练方法相当。
• 训练好的RL策略具有良好的泛化能力：无需重新训练，即可在近乎瞬时时间内为新的未见CVRP实例生成高质量解。
• 与传统方法相比，RL框架在灵活性与可扩展性方面更具优势，能够实现快速部署，适用于对低延迟响应要求高的实际应用场景。
• 该方法在求解具有动态或不确定参数的复杂VRP变体（如随机需求）方面展现出潜力，而这些情况难以用标准MILP公式建模。