[论文解读] The Power and Limits of Predictive Approaches to Observational-Data-Driven Optimization

Dimitris Bertsimas, Nathan Kallus|arXiv (Cornell University)|May 8, 2016

Advanced Causal Inference Techniques参考文献 33被引用 15

一句话总结

本文形式化了在基于观察数据的优化中使用预测模型的方法，尤其针对定价问题，表明尽管预测方法可实现良好性能，但常因混杂因素而无法达到最优。本文提出一种新颖的因果效应目标最优性假设检验方法，并证明考虑观察数据结构的参数化模型显著优于标准预测方法，在实证测试中可恢复高达70%的利润损失。

ABSTRACT

While data-driven decision-making is transforming modern operations, most large-scale data is of an observational nature, such as transactional records. These data pose unique challenges in a variety of operational problems posed as stochastic optimization problems, including pricing and inventory management, where one must evaluate the effect of a decision, such as price or order quantity, on an uncertain cost/reward variable, such as demand, based on historical data where decision and outcome may be confounded. Often, the data lacks the features necessary to enable sound assessment of causal effects and/or the strong assumptions necessary may be dubious. Nonetheless, common practice is to assign a decision an objective value equal to the best prediction of cost/reward given the observation of the decision in the data. While in general settings this identification is spurious, for optimization purposes it is only the objective value of the final decision that matters, rather than the validity of any model used to arrive at it. In this paper, we formalize this statement in the case of observational-data-driven optimization and study both the power and limits of predictive approaches to observational-data-driven optimization with a particular focus on pricing. We provide rigorous bounds on optimality gaps of such approaches even when optimal decisions cannot be identified from data. To study potential limits of predictive approaches in real datasets, we develop a new hypothesis test for causal-effect objective optimality. Applying it to interest-rate-setting data, we empirically demonstrate that predictive approaches can be powerful in practice but with some critical limitations.

研究动机与目标

• 形式化在观察数据环境中预测建模与因果优化之间的差距。
• 量化预测方法在基于观察数据的优化中的最优性差距。
• 为现实数据集中因果效应目标最优性开发假设检验方法。
• 评估预测方法在真实数据中存在混杂因素时是否能实现近似最优性能。
• 比较非参数与参数化预测模型与一种考虑观察数据结构的处方型参数化模型的性能。

提出的方法

• 提出一个形式化的基于观察数据的优化框架，区分预测目标与处方目标。
• 基于不可忽略性假设下目标函数及其最优解的非参数估计，提出一种因果效应目标最优性的假设检验方法。
• 使用自助抽样法估计检验统计量的零分布，并评估统计显著性。
• 利用估计量的渐近正态性与一致性，推导在不可忽略性假设下的零分布。
• 将预测模型（非参数与参数化）与一种针对真实均值响应函数的处方型参数化模型进行比较。
• 将该检验应用于一个在线汽车贷款数据集，以评估不同方法的性能与次优性。

实验结果

研究问题

• RQ1 在存在混杂因素的观察数据环境中，预测方法能否实现近似最优决策？
• RQ2 预测方法在基于观察数据的优化中的理论与实证极限是什么？
• RQ3 如何在实践中统计检验一个预测方法是否产生近似最优决策？
• RQ4 一种考虑数据观察性质的参数化模型是否优于标准预测模型？
• RQ5 预测模型在现实数据集中在多大程度上无法恢复最优利润？

主要发现

• 在16个数据段中的13个，非参数预测方法在p < 0.05水平下被拒绝为次优，表明存在显著性能差距。
• 参数化预测方法结果参差不齐，在p < 0.05水平下仅在9个段中被拒绝为次优，在p < 0.001水平下在2个段中被拒绝。
• 处方型参数化方法在除2个段外的所有段中均通过了最优性检验（p ≥ 0.05），优于两种预测方法。
• 平均而言，处方型参数化方法恢复了非参数预测方法所损失利润的70%，以及参数化预测方法所损失利润的36%。
• 结果表明，即使预测模型表现良好，仍常存在大量未实现的收入，凸显因果感知建模的价值。
• 本研究反驳了Besbes等人（2010）的结论，即仅使用价格的逻辑回归已足够，表明需采用结构合理的参数化模型才能实现最优性能。