[论文解读] Predicting Tactical Solutions to Operational Planning Problems under Imperfect Information

Eric Larsen, Sébastien Lachapelle+4 more|arXiv (Cornell University)|Jan 1, 2022

Transportation Planning and Optimization参考文献 36被引用 31

一句话总结

本文提出了一种监督机器学习方法，用于在不完全信息下的两阶段随机规划中，快速预测操作解决方案的预期战术描述（TDOS）。通过在具有受控不确定性的合成确定性问题实例上训练深度学习模型，该方法实现了毫秒级的预测速度，且准确度接近理论下界，从而在铁路装载规划等应用中实现了更快的战术决策。

ABSTRACT

This paper offers a methodological contribution at the intersection of machine learning and operations research. Namely, we propose a methodology to quickly predict expected tactical descriptions of operational solutions (TDOSs). The problem we address occurs in the context of two-stage stochastic programming, where the second stage is demanding computationally. We aim to predict at a high speed the expected TDOS associated with the second-stage problem, conditionally on the first-stage variables. This may be used in support of the solution to the overall two-stage problem by avoiding the online generation of multiple second-stage scenarios and solutions. We formulate the tactical prediction problem as a stochastic optimal prediction program, whose solution we approximate with supervised machine learning. The training data set consists of a large number of deterministic operational problems generated by controlled probabilistic sampling. The labels are computed based on solutions to these problems (solved independently and offline), employing appropriate aggregation and subselection methods to address uncertainty. Results on our motivating application on load planning for rail transportation show that deep learning models produce accurate predictions in very short computing time (milliseconds or less). The predictive accuracy is close to the lower bounds calculated based on sample average approximation of the stochastic prediction programs.

研究动机与目标

• 解决在不完全信息下的两阶段随机规划中在线求解第二阶段操作问题时存在的计算瓶颈。
• 实现对预期战术描述的操作解决方案（TDOS）的快速、高精度预测，以支持战术决策。
• 减少对在线场景生成和重复求解计算成本高昂的第二阶段问题的依赖。
• 通过机器学习近似NP难的操作问题的期望解，弥合运筹学与机器学习之间的鸿沟。

提出的方法

• 通过在不确定输入（例如，集装箱重量）的受控概率分布下采样确定性操作问题实例，生成大规模训练数据。
• 使用混合整数线性规划求解器离线求解每个采样实例，以获得详细的操作解决方案。
• 将这些解决方案聚合并子选择为紧凑的TDOS表示形式（例如，每种类型的集装箱装载数量、使用的铁路车辆数）。
• 在输入（第一阶段变量和不确定特征）与输出（TDOS）对上训练监督机器学习模型，特别是深度前馈神经网络。
• 在数据生成过程中，通过适当的采样、聚合和子选择技术处理缺失或不确定的输入特征。
• 使用训练好的模型在决策时刻面对不完全信息时，实时预测预期TDOS，实现低延迟和高精度。

实验结果

研究问题

• RQ1 机器学习模型能否在不完全信息下的两阶段随机规划中准确预测操作解决方案的预期战术描述？
• RQ2 不同机器学习模型（如MLP、逻辑回归、线性回归）的预测性能与基于样本平均近似法计算的理论下界相比如何？
• RQ3 在不重新训练的情况下，仅在较简单问题实例上训练的模型在更复杂、更困难的实例上泛化程度如何？
• RQ4 在数据生成过程中引入不确定性处理，如何影响预测的鲁棒性和准确性？
• RQ5 与从零开始求解第二阶段问题相比，该方法能否显著减少在线计算时间？

主要发现

• 回归前馈神经网络（RegMLP）整体表现最佳，在测试数据上的平均绝对误差（MAE）为2.372，接近理论下界。
• 每实例的预测时间少于1毫秒，显著快于求解单个确定性ILP实例的时间。
• 在较简单实例上训练的模型无需重新训练即可良好泛化到更复杂的实例，表现出强大的泛化能力。
• 该方法的预测准确度与通过样本平均近似法计算的下界相差不超过0.05，表明其接近最优。
• 该方法减少了对在线场景生成和第二阶段求解计算的需求，从而在铁路装载规划中实现了更快的战术决策。
• 结果表明，该方法可推广至其他两阶段随机规划问题，如具有随机需求的车辆路径问题。