[论文解读] Probability estimation and structured output prediction for learning preferences in last mile delivery

Rocsildes Canoy, Víctor Bucarey+4 more|arXiv (Cornell University)|Jan 25, 2022

Transportation Planning and Optimization被引用 6

一句话总结

本文提出一种两阶段方法，通过首先使用马尔可夫模型估计区域间转移概率，然后应用结构化输出预测来优化带区域惩罚的停靠点级路径规划，实现最后一英里配送中司机与规划者偏好的学习。该方法在仅使用行程时间的基线TSP基础上提升了路径质量，而结构化预测通过调整惩罚权重进一步优化了性能。

ABSTRACT

We study the problem of learning the preferences of drivers and planners in the context of last mile delivery. Given a data set containing historical decisions and delivery locations, the goal is to capture the implicit preferences of the decision-makers. We consider two ways to use the historical data: one is through a probability estimation method that learns transition probabilities between stops (or zones). This is a fast and accurate method, recently studied in a VRP setting. Furthermore, we explore the use of machine learning to infer how to best balance multiple objectives such as distance, probability and penalties. Specifically, we cast the learning problem as a structured output prediction problem, where training is done by repeatedly calling the TSP solver. Another important aspect we consider is that for last-mile delivery, every address is a potential client and hence the data is very sparse. Hence, we propose a two-stage approach that first learns preferences at the zone level in order to compute a zone routing; after which a penalty-based TSP computes the stop routing. Results show that the zone transition probability estimation performs well, and that the structured output prediction learning can improve the results further. We hence showcase a successful combination of both probability estimation and machine learning, all the while using standard TSP solvers, both during learning and to compute the final solution; this means the methodology is applicable to other, real-life, TSP variants, or proprietary solvers.

研究动机与目标

• 通过历史路径决策建模最后一英里配送中司机与规划者的隐式偏好。
• 通过将停靠点聚类为区域，缓解停靠点级偏好学习中的数据稀疏性问题。
• 开发一种两阶段TSP框架，先学习区域级偏好，再结合区域惩罚进行停靠点级路径规划。
• 结合概率估计与结构化输出预测，优化多目标路径规划。
• 通过在学习和推理过程中将标准或专有TSP求解器作为黑箱使用，确保与现有TSP求解器的兼容性。

提出的方法

• 利用每日配送路径的历史数据，通过马尔可夫模型估计区域间转移概率，将区域序列视为马尔可夫链。
• 构建一个结合行驶距离与估计转移概率的区域级目标函数，以生成与偏好一致的区域序列。
• 应用结构化输出预测（SOP）方法，使用梯度下降学习距离与转移概率线性偏好函数的最优权重。
• 在第二阶段，使用包含行程时间与从学习到的区域顺序中得出的区域转移惩罚的代价矩阵，求解停靠点级TSP。
• 在每次SOP更新步骤中使用黑箱TSP求解器评估候选解，并计算权重优化的梯度。
• 实现两阶段流程：首先通过概率估计学习区域路径，然后通过带惩罚的TSP计算停靠点路径，使用学习到的权重。

Figure 1: The schematic diagram of the two stage TSP approach with zone and stop ordering

实验结果

研究问题

• RQ1 能否从稀疏的历史路径数据中有效估计区域间转移概率，以建模司机偏好？
• RQ2 将区域转移概率与行驶距离结合，与仅基于距离的路径规划相比，能否显著提升区域级路径规划质量？
• RQ3 结构化输出预测能否有效学习停靠点级TSP路径规划中区域转移的最优惩罚权重？
• RQ4 两阶段方法——先进行区域级学习，再结合惩罚进行停靠点级路径规划——是否优于仅使用行程时间的常规TSP？
• RQ5 该方法在不需架构修改的前提下，能否广泛应用于现实世界中的TSP变体或专有求解器？

主要发现

• 基于马尔可夫的区域转移概率估计方法在生成高质量区域序列方面显著优于仅基于距离的路径规划。
• 结构化输出预测方法通过学习最优惩罚权重进一步提升了性能，尤其在减少同区域惩罚以及调整前后区域权重方面表现突出。
• 基于马尔可夫的区域估计与基于SOP的停靠点级优化相结合，实现了最佳性能，停靠点得分在直方图分布中更接近零。
• 使用基于距离的区域排序所导出的区域惩罚，已使结果优于纯基于距离的TSP，表明区域级偏好的价值。
• 结合概率估计与结构化预测的两阶段方法，生成的停靠点序列质量高于任一单一方法。
• 该方法与任何TSP求解器保持兼容，因其在学习和生成解的过程中均将求解器作为黑箱使用。

Figure 2: Diagram of the proposed methodology