[论文解读] Simultaneous Decision Making for Stochastic Multi-echelon Inventory Optimization with Deep Neural Networks as Decision Makers

Mohammad Pirhooshyaran, Lawrence Snyder|arXiv (Cornell University)|Jun 9, 2020

Supply Chain and Inventory Management被引用 7

一句话总结

该论文提出了一种基于深度神经网络（DNNs）作为联合决策者的深度强化学习框架，用于在具有通用拓扑结构的随机多级供应链中优化订货补货水平（OULs）。DNNs通过在所有供应链边同时进行与环境交互的训练，学习最优OULs，在环境交互次数少于贝叶斯优化方法的前提下，实现了接近最优的性能，即使在具有非线性成本和任意需求分布的复杂网络中亦是如此。

ABSTRACT

We propose a framework that uses deep neural networks (DNN) to optimize inventory decisions in complex multi-echelon supply chains. We first introduce pairwise modeling of general stochastic multi-echelon inventory optimization (SMEIO). Then, we present a framework which uses DNN agents to directly determine order-up-to levels between any adjacent pair of nodes in the supply chain. Our model considers a finite horizon and accounts for the initial inventory conditions. Our method is suitable for a wide variety of supply chain networks, including general topologies that may contain both assembly and distribution nodes, and systems with nonlinear cost structures. We first numerically demonstrate the effectiveness of the method by showing that its solutions are close to the optimal solutions for single-node and serial supply chain networks, for which exact methods are available. Then, we investigate more general supply chain networks and find that the proposed method performs better in terms of both objective function values and the number of interactions with the environment compared to alternate methods.

研究动机与目标

• 开发一种可扩展、可解释的方法，用于在随机需求和有限时域下实现同步多级库存优化。
• 使DNN智能体能够直接输出可解释的订货补货水平（OULs），而无需对动作或状态空间进行离散化。
• 在经典精确方法难以处理的复杂供应链网络中，证明该方法的有效性。
• 从成本、收敛性及环境交互效率的角度，将基于DNN的方法与DFO和Spearmint等替代优化方法进行比较。
• 在串联和通用拓扑结构上验证该框架，展示其在不同需求分布和成本结构下的鲁棒性。

提出的方法

• 该框架将每个供应链边建模为一个独立的DNN智能体，负责确定该链路的OUL。
• 每个DNN智能体在有限时域设置下与环境（即供应链网络）交互，通过强化学习学习以最小化总系统成本。
• 该方法采用成对建模方法，其中每个DNN基于本地状态信息（库存水平、需求分布、提前期）进行训练，以做出全局决策。
• DNNs使用策略梯度方法进行训练，从而在不进行离散化的情况下支持连续动作空间（OULs）。
• 训练过程以提前期需求水平初始化，以近似稳态条件，从而可与无限时域的解析解进行比较。
• 该框架支持通用网络拓扑结构，包括装配和分发节点，并能处理非线性成本结构。

实验结果

研究问题

• RQ1 DNN智能体是否能够在通用多级供应链网络中，同时学习多个供应链边的最优订货补货水平？
• RQ2 与经典优化方法及替代的贝叶斯优化方法（如DFO和Spearmint）相比，基于DNN的方法在成本和收敛效率方面表现如何？
• RQ3 该方法在不同网络拓扑结构、需求分布和成本结构下是否保持性能与稳定性？
• RQ4 DNN在不离散化动作或状态空间的前提下，能够多大程度上学习到可解释的连续OULs？
• RQ5 在上游节点持有远高于下游节点安全库存的复杂网络中，该方法表现如何？

主要发现

• 在单节点和串联供应链网络中，基于DNN的方法总成本与最优解相差不超过1.5%，表现出高精度。
• 在复杂混合网络中，与DFO方法相比，DNN方法平均将总成本降低了16.5%，且环境交互次数显著更少。
• 对于包含13条边的复杂供应链网络，DNN方法的总成本为478.61，而DFO和Spearmint分别为644.41和618.44，显示出更优的成本性能。
• DNN方法在少于500次环境交互内即实现收敛，计算效率优于基于枚举的方法。
• 上游层级（如0 ←1）的OUL值超过平均需求的两倍，表明在复杂网络中实现了有效的安全库存分配。
• 该方法在多次运行中表现出稳定的收敛性，串联和混合网络配置下学习曲线与损失行为一致。