[论文解读] Platelet Inventory Management with Approximate Dynamic Programming

Hossein Abouee‐Mehrizi, Mahdi Mirjalili+1 more|arXiv (Cornell University)|Jul 18, 2023

Blood donation and transfusion practicesBusiness, Management and Accounting被引用 3

一句话总结

本文提出了一种近似动态规划（ADP）方法，用于在内生保质期不确定性和固定订购成本下管理血小板库存，采用基于模拟的策略迭代与基函数逼近。与历史医院实践相比，ADP策略将过期率和缺货率降低了50%以上，并优于忽略保质期不确定性的精确策略，同时在大规模实例下仍保持计算可行性。

ABSTRACT

We study a stochastic perishable inventory control problem with endogenous (decision-dependent) uncertainty in shelf-life of units. Our primary motivation is determining ordering policies for blood platelets. Determining optimal ordering quantities is a challenging task due to the short maximum shelf-life of platelets (3-5 days after testing) and high uncertainty in daily demand. We formulate the problem as an infinite-horizon discounted Markov Decision Process (MDP). The model captures salient features observed in our data from a network of Canadian hospitals and allows for fixed ordering costs. We show that with uncertainty in shelf-life, the value function of the MDP is non-convex and key structural properties valid under deterministic shelf-life no longer hold. Hence, we propose an Approximate Dynamic Programming (ADP) algorithm to find approximate policies. We approximate the value function using a linear combination of basis functions and tune the parameters using a simulation-based policy iteration algorithm. We evaluate the performance of the proposed policy using extensive numerical experiments in parameter regimes relevant to the platelet inventory management problem. We further leverage the ADP algorithm to evaluate the impact of ignoring shelf-life uncertainty. Finally, we evaluate the out-of-sample performance of the ADP algorithm in a case study using real data and compare it to the historical hospital performance and other benchmarks. The ADP policy can be computed online in a few minutes and results in more than 50% lower expiry and shortage rates compared to the historical performance. In addition, it performs better or as well as an exact policy that ignores uncertainty in shelf-life and becomes hard to compute for larger instance of the problem.

研究动机与目标

• 解决医院血小板订购优化问题，其中保质期不确定且与订购量相关。
• 开发一种计算高效的策略，考虑固定订购成本和随机需求，这些在现实世界的血小板供应链中普遍存在。
• 评估在设计订购策略时忽略保质期不确定性对库存绩效和策略次优性的影响。
• 使用加拿大一家医院的真实数据验证ADP策略，并与历史和基准策略进行比较。
• 证明考虑内生保质期不确定性可显著改善库存结果，优于确定性假设。

提出的方法

• 将问题建模为具有随机需求和内生保质期不确定性的折扣无限时域马尔可夫决策过程（MDP）。
• 使用基函数的线性组合来近似价值函数，从而实现可扩展的策略学习。
• 采用基于模拟的策略迭代算法来调整价值函数近似的参数。
• 引入信息松弛下界，以评估在更大实例上的性能表现。
• 使用来自加拿大医院的真实血小板库存数据进行样本外测试，验证ADP策略。
• 将ADP策略与在确定性保质期假设下的精确解、短视策略以及历史医院订购行为进行比较。

Figure 1: Comparing the expected cost function, value function, and optimal policy obtained under the fixed ordering cost of $f=10$ and endogenous shelf-life uncertainty (left column) with those obtained under zero fixed ordering cost and endogenous (middle column) or deterministic shelf-life (right

实验结果

研究问题

• RQ1 当交付年龄依赖于订购量时，内生保质期不确定性如何影响血小板库存系统中最优订购策略的结构？
• RQ2 在设计易腐医疗库存的订购策略时，忽略保质期不确定性会带来多大的性能损失？
• RQ3 能否设计一种ADP策略，考虑随机保质期和固定订购成本，从而优于假设保质期确定的精确策略？
• RQ4 ADP策略在过期率、缺货率和持有成本方面与历史医院订购实践相比表现如何？
• RQ5 当应用于具有复杂需求和保质期模式的真实世界数据时，ADP框架在多大程度上保持稳健和高效？

主要发现

• 与研究医院的历史实践相比，ADP策略将过期率和缺货率降低了50%以上。
• 尽管后者在大规模实例下计算不可行，ADP策略在性能上仍与假设保质期确定的精确策略相当或更优。
• 在存在保质期不确定性的情况下，价值函数呈非凸性，这使得传统动态规划方法依赖的关键结构假设失效。
• 考虑内生保质期不确定性可降低平均库存水平和订单数量，尤其在固定订购成本较高时更为显著。
• ADP算法可在几分钟内在线计算完成，适用于实时部署，而传统精确方法为离线计算，不具实时性。
• ADP策略在所有实例中均持续优于短视策略，并在较大实例中实现的成本低于信息松弛下界，表明其具有出色的样本外性能。

(a)