[论文解读] Solving the Order Batching and Sequencing Problem using Deep Reinforcement Learning

Bram Cals, Yingqian Zhang+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Manufacturing and Logistics Optimization参考文献 28被引用 4

一句话总结

本文提出一种基于深度强化学习（DRL）的方法，采用近端策略优化（PPO）算法，将混合人货对流（PtG）与货到人（GtP）仓库中的订单分批与排序问题（OBSP）建模为具有向量状态表示的半马尔可夫决策过程。DRL智能体在性能上优于传统启发式方法，实现了更低的延迟订单率，并在不同订单量和时间周期下展现出强大的泛化能力。

ABSTRACT

In e-commerce markets, on time delivery is of great importance to customer satisfaction. In this paper, we present a Deep Reinforcement Learning (DRL) approach for deciding how and when orders should be batched and picked in a warehouse to minimize the number of tardy orders. In particular, the technique facilitates making decisions on whether an order should be picked individually (pick-by-order) or picked in a batch with other orders (pick-by-batch), and if so with which other orders. We approach the problem by formulating it as a semi-Markov decision process and develop a vector-based state representation that includes the characteristics of the warehouse system. This allows us to create a deep reinforcement learning solution that learns a strategy by interacting with the environment and solve the problem with a proximal policy optimization algorithm. We evaluate the performance of the proposed DRL approach by comparing it with several batching and sequencing heuristics in different problem settings. The results show that the DRL approach is able to develop a strategy that produces consistent, good solutions and performs better than the proposed heuristics.

研究动机与目标

• 解决在动态订单到达和混合PtG/GtP系统下，电商仓库中最小化延迟订单的挑战。
• 开发一种基于学习的策略，动态决定采用按单拣选还是按批拣选，并有效排序拣选批次。
• 评估DRL智能体在复杂、真实仓库场景下的性能与泛化能力，相较于传统启发式方法的表现。
• 证明DRL在解决仓储中NP难的序列决策问题上的可行性与鲁棒性。

提出的方法

• 将OBSP建模为半马尔可夫决策过程（SMDP），支持延迟奖励和可变动作持续时间。
• 采用基于向量的状态表示，编码仓库特征，包括订单截止时间、物品位置以及系统类型（PtG或GtP）。
• 使用近端策略优化（PPO）算法训练一个结合策略梯度方法的深度Q网络（DQN），以学习最优的分批与排序策略。
• 智能体与模拟仓库环境交互，环境计算每项动作的影响，包括延迟和行走距离。
• 在多样化的问题实例上训练DRL模型，并在不同订单量和时间窗口下评估其性能与泛化能力。
• 通过将训练于特定实例规模或时间周期的智能体应用于未见过的、分布外的设置，测试其泛化能力。

实验结果

研究问题

• RQ1 DRL智能体是否能在混合PtG/GtP仓库系统中，学习到优于传统启发式方法的分批与排序策略？
• RQ2 DRL智能体在订单数量与训练阶段不同的问题实例上，泛化能力如何？
• RQ3 当应用于不同时间段（包括高订单波动的高峰时段）时，DRL智能体是否能保持一致的性能表现？
• RQ4 DRL方法是否能有效应对电商订单分拣环境中动态订单到达及不确定性？

主要发现

• 在500订单实例上，DRL智能体平均仅产生0.75%的延迟订单，优于所有测试的启发式方法。
• 在400订单上训练的智能体，在400订单测试实例上产生1.08%的延迟订单，在500订单实例上为3.57%，表明其对更大订单量具有强大的泛化能力。
• 在19:00–20:00时间段训练的智能体，在19:00至00:00之间的随机时间段测试中，平均延迟订单率为0.66%，表明其对时间变化具有鲁棒性。
• 当测试包含最后一小时（23:00–00:00）时，性能略有下降，平均延迟率升至0.94%，原因在于训练中未见过的罕见小实例状态。
• DRL模型在多样化设置下表现稳定，标准差较低（如400和500订单分别为1.68%和2.59%），表明其具有良好的稳定性。
• 结果证实，DRL能够学习到有效且自适应的策略，适用于传统启发式方法难以应对的复杂、动态仓储决策问题。