[论文解读] Where the Action is: Let's make Reinforcement Learning for Stochastic Dynamic Vehicle Routing Problems work!

Florentin D Hildebrandt, Barrett W. Thomas+1 more|arXiv (Cornell University)|Feb 28, 2021

Vehicle Routing Optimization Methods被引用 8

一句话总结

本文提出一种结合强化学习（RL）与混合整数规划（MIP）的混合方法，以解决随机动态车辆路径问题（SDVRPs），其中必须在实时决策中平衡当前路径操作与未来不确定性。研究指出现有方法在运筹学（OR）在动作空间搜索方面的优势与计算机科学（CS）在长期评估方面的能力之间存在关键差距，主张采用整合方法，利用MIP进行路径构建，利用RL进行长期策略学习。

ABSTRACT

There has been a paradigm-shift in urban logistic services in the last years; demand for real-time, instant mobility and delivery services grows. This poses new challenges to logistic service providers as the underlying stochastic dynamic vehicle routing problems (SDVRPs) require anticipatory real-time routing actions. Searching the combinatorial action space for efficient routing actions is by itself a complex task of mixed-integer programming (MIP) well-known by the operations research community. This complexity is now multiplied by the challenge of evaluating such actions with respect to their effectiveness given future dynamism and uncertainty, a potentially ideal case for reinforcement learning (RL) well-known by the computer science community. For solving SDVRPs, joint work of both communities is needed, but as we show, essentially non-existing. Both communities focus on their individual strengths leaving potential for improvement. Our survey paper highlights this potential in research originating from both communities. We point out current obstacles in SDVRPs and guide towards joint approaches to overcome them.

研究动机与目标

• 应对城市物流领域对实时、前瞻式路径规划日益增长的需求，这源于即时配送与出行服务需求的上升。
• 识别运筹学（OR）与计算机科学（CS）在求解随机动态车辆路径问题（SDVRPs）时存在的脱节。
• 强调OR方法在大规模动作空间搜索方面表现优异，但往往忽视对未来不确定性的评估；而CS中的RL方法则专注于评估，但通常对动作空间进行过度简化。
• 提出将MIP与RL方法融合，以共同应对SDVRPs中动作空间搜索与未来不确定性评估的双重挑战。
• 引导未来研究聚焦于结合MIP的混合式、多智能体或基于策略的RL框架，以实现可扩展、稳健且实时的路径决策。

提出的方法

• 将SDVRPs建模为马尔可夫决策过程（MDPs），将动态路径规划问题转化为不确定性下的序列决策问题。
• 集成深度神经网络（DNNs）作为价值函数或策略的函数逼近器，基于高维状态信息评估动作。
• 提出混合架构，结合分段线性价值函数逼近器（VFAs）与精确MIP求解器，以在复杂动作空间中搜索的同时评估长期可行性。
• 采用多智能体强化学习（MARL）框架以扩展至更大规模车队，通过集中式MIP控制协调分散的智能体决策。
• 设计神经网络头，用于评估向路径中添加临时停靠点的长期可行性，避免未来违反约束。
• 在MARL中利用迁移学习，使在小规模实例上训练的策略能够泛化至更大规模、分布外的场景。

实验结果

研究问题

• RQ1 为何现有的OR与CS方法在SDVRPs中无法同时解决动作空间搜索与未来不确定性评估问题？
• RQ2 如何有效将强化学习应用于具有复杂路径约束（如时间窗、容量、优先级顺序）的复杂SDVRPs？
• RQ3 当前CS中的RL方法在应用于具有复杂动作空间的大规模真实SDVRPs时存在哪些局限性？
• RQ4 如何将MIP公式与RL结合，以同时提升动态路径规划中的动作选择与长期策略评估能力？
• RQ5 基于集中式MIP协调的多智能体RL能否实现大规模车队运营中可扩展、稳健且实时的决策？

主要发现

• 尽管OR在基于MIP的动作空间探索方面具有优势，但现有OR研究在处理具有复杂路径约束的SDVRP问题时，仍未考虑详细的动作空间。
• 尽管CS方法在评估方面表现突出，但现有CS研究在SDVRP中未涉及具有复杂路径约束的问题，因多数方法聚焦于简单动作空间，且更重视评估而非搜索。
• 经过精心设计的奖励塑造，多智能体RL可在分布外场景中实现良好泛化，即使测试动态与训练动态存在显著差异。
• 基于策略的方法通过迭代构建临时路径显示出潜力，但在多车辆或动态路径场景中仍缺乏探索。
• 结合MIP求解器与DNN价值函数的混合方法，可通过平衡动作空间搜索与未来不确定性评估，实现实时决策。
• 在多智能体RL框架中采用集中式MIP控制，可恢复从分解动作空间中丢失的信息，并提升独立智能体间的协调能力。