[论文解读] Predict-then-Calibrate: A New Perspective of Robust Contextual LP

Chunlin Sun, Linyu Liu+1 more|arXiv (Cornell University)|May 25, 2023

Risk and Portfolio OptimizationDecision Sciences被引用 3

一句话总结

本文提出了一种用于鲁棒上下文线性规划的先预测后校准范式，将预测与不确定性校准解耦，以支持即插即用的机器学习模型灵活使用，并提供理论上的鲁棒性保证。该方法在风险敏感和分布鲁棒优化中均实现了改进的一般化界和收敛速率，实证验证表明，通过提升预测或校准组件可获得性能增益。

ABSTRACT

Contextual optimization, also known as predict-then-optimize or prescriptive analytics, considers an optimization problem with the presence of covariates (context or side information). The goal is to learn a prediction model (from the training data) that predicts the objective function from the covariates, and then in the test phase, solve the optimization problem with the covariates but without the observation of the objective function. In this paper, we consider a risk-sensitive version of the problem and propose a generic algorithm design paradigm called predict-then-calibrate. The idea is to first develop a prediction model without concern for the downstream risk profile or robustness guarantee, and then utilize calibration (or recalibration) methods to quantify the uncertainty of the prediction. While the existing methods suffer from either a restricted choice of the prediction model or strong assumptions on the underlying data, we show the disentangling of the prediction model and the calibration/uncertainty quantification has several advantages. First, it imposes no restriction on the prediction model and thus fully unleashes the potential of off-the-shelf machine learning methods. Second, the derivation of the risk and robustness guarantee can be made independent of the choice of the prediction model through a data-splitting idea. Third, our paradigm of predict-then-calibrate applies to both (risk-sensitive) robust and (risk-neutral) distributionally robust optimization (DRO) formulations. Theoretically, it gives new generalization bounds for the contextual LP problem and sheds light on the existing results of DRO for contextual LP. Numerical experiments further reinforce the advantage of the predict-then-calibrate paradigm in that an improvement on either the prediction model or the calibration model will lead to a better final performance.

研究动机与目标

• 为解决现有端到端或紧密耦合方法在风险敏感和鲁棒优化设置下的局限性。
• 将预测与不确定性校准解耦，允许不受限制地使用机器学习模型，并对鲁棒性进行独立的理论分析。
• 利用非参数回归工具，推导鲁棒和分布鲁棒上下文线性规划的一般化界。
• 提供理论和实证证据，证明预测或校准组件的改进可直接提升最终决策质量。
• 在单一、灵活的算法范式下统一风险敏感和分布鲁棒优化的公式。

提出的方法

• 提出两阶段范式：首先在不考虑下游鲁棒性的情况下训练预测模型，然后应用校准以量化预测不确定性。
• 使用数据分割方法，确保风险和鲁棒性的理论保证独立于预测模型的选择。
• 应用不确定性校准方法，以在给定协变量的情况下估计目标函数系数的分布，从而实现鲁棒优化。
• 利用非参数回归技术和覆盖数论证，推导鲁棒上下文线性规划问题的一般化界。
• 设计算法，输出在数据规模 T 增加时可保证收敛到最优解的决策。
• 建立最优性间隙的收敛速率，其阶为 $ T^{-s/(2s+2d)} \log T $，并明确依赖于模型和数据参数。

实验结果

研究问题

• RQ1 我们能否在上下文线性规划中解耦预测与不确定性校准，以在不限制预测模型选择的前提下提升鲁棒性？
• RQ2 如何推导出独立于预测模型架构的鲁棒性和一般化保证的理论？
• RQ3 在先预测后校准框架下，鲁棒上下文线性规划的最优性间隙收敛速率是多少？
• RQ4 与端到端或集成方法相比，先预测后校准范式在性能和灵活性方面表现如何？
• RQ5 该框架能否同时应用于风险敏感和分布鲁棒优化公式？

主要发现

• 先预测后校准框架在最优性间隙上实现了 $ O(T^{-s/(2s+2d)} \log T) $ 的收敛速率，明确依赖于数据维度和光滑性参数。
• 由于采用数据分割，鲁棒性和一般化保证独立于预测模型，从而可使用任何现成的机器学习模型。
• 实证结果证实，提升预测模型或校准方法均可带来更优的最终决策性能。
• 该框架利用非参数回归工具，为分布鲁棒上下文线性规划提供了新的泛化界。
• 该方法在不施加预测模型结构约束或对数据强参数假设的前提下，实现了良好的覆盖率和鲁棒性。
• 在最小假设下推导出收敛速率，显式常数依赖于模型复杂度、数据范围和光滑性。