[论文解读] Reinforcement Learning for Dynamic Bidding in Truckload Markets: an Application to Large-Scale Fleet Management with Advance Commitments

Yingfei Wang, Juliana Nascimento+1 more|arXiv (Cornell University)|Feb 25, 2018

Supply Chain and Inventory Management参考文献 34被引用 6

一句话总结

本文提出了一种结合自助聚合（bootstrap aggregation）的知识梯度强化学习策略，用于优化动态整车货运市场的投标行为，平衡高维、空间异质的发货人与承运人响应曲线下的收益最大化与信息获取。该方法在总收益和合同接受率方面均优于基线策略，在具有提前预订约束的大规模车队模拟器中展现出更优的学习能力与适应性。

ABSTRACT

Truckload brokerages, a $100 billion/year industry in the U.S., plays the critical role of matching shippers with carriers, often to move loads several days into the future. Brokerages not only have to find companies that will agree to move a load, the brokerage often has to find a price that both the shipper and carrier will agree to. The price not only varies by shipper and carrier, but also by the traffic lanes and other variables such as commodity type. Brokerages have to learn about shipper and carrier response functions by offering a price and observing whether each accepts the quote. We propose a knowledge gradient policy with bootstrap aggregation for high-dimensional contextual settings to guide price experimentation by maximizing the value of information. The learning policy is tested using a carefully calibrated fleet simulator that includes a stochastic lookahead policy that simulates fleet movements, as well as the stochastic modeling of driver assignments and the carrier's load commitment policies with advance booking.

研究动机与目标

• 解决整车货运市场中动态定价的挑战，其中中介需在收益最大化与对不确定发货人及承运人响应函数的学习之间取得平衡。
• 开发一种可扩展的高维上下文Bandit策略，高效学习跨地理线路与货物属性的响应曲线。
• 在具有提前预订与承运人承诺约束的真实随机车队模拟器中，评估信息获取型投标策略的影响。
• 将所提策略与实际工业启发式方法（如纯利用、估计最优定价与均价策略）进行基准对比。
• 通过严格模拟车队运行与随机司机指派，证明信息在动态投标中的价值。

提出的方法

• 本文提出一种专为高维、空间分布的上下文Bandit设计的知识梯度策略，其中上下文包括始发地、目的地、货物类型及其他货物属性。
• 提出一种新颖的重采样算法，以高效计算非线性响应函数最大值的期望，从而在高维空间中实现知识梯度的可计算性。
• 采用自助聚合（bagging）以稳定响应曲线的估计，并随时间减少信念模型中的方差。
• 通过量化每次投标决策中信息的价值，实现探索（学习未知响应曲线）与利用（最大化即时收益）的平衡。
• 采用随机前瞻策略，模拟14天内的车队运行与承运人货物承诺，捕捉模拟器中真实的提前预订动态。
• 完整的车队模拟器通过近似动态规划建模司机位置、工作时长及随机货物接受行为，提供高保真的测试环境。

实验结果

研究问题

• RQ1 在高维、空间异质的整车投标情境中，强化学习策略如何有效平衡探索与利用？
• RQ2 信息获取型投标策略对整车市场中长期收益与合同接受率有何影响？
• RQ3 知识梯度策略相较于实际工业基准（如纯利用与估计最优定价）在动态投标中的表现如何？
• RQ4 自助聚合的使用在多大程度上提升了动态投标中响应曲线估计的鲁棒性与准确性？
• RQ5 提前预订约束与随机车队动态如何影响基于学习的投标策略性能？

主要发现

• 知识梯度（KG）策略在所有测试策略中实现了最高总收益，显著优于纯利用与估计最优策略。
• 与表现第二好的策略（Thompson采样）相比，KG策略实现了3%更高的合同接受率（定义为发货人与承运人同时接受）。
• 纯利用策略优于估计最优（Est-Opt）策略，表明对新信息的反应式学习具有性能优势。
• Thompson采样（TS）与乐观Thompson采样表现强劲但略逊于最优，证实其在类似场景中的经验有效性。
• 承运人接受率的波动性高于发货人接受率，反映出承运人调度决策的复杂性，以及模拟器中近似动态规划的使用。
• 模拟器的随机前瞻策略成功捕捉了真实车队动态，包括提前承诺与司机可用性，从而实现了对投标策略的严格评估。