[论文解读] On Data-Driven Prescriptive Analytics with Side Information: A Regularized Nadaraya-Watson Approach

Prateek R. Srivastava, Yijie Wang+2 more|arXiv (Cornell University)|Oct 10, 2021

Distributed Sensor Networks and Detection Algorithms被引用 14

一句话总结

本文提出了一种正则化Nadaraya-Watson核回归方法，用于具有附加信息的数据驱动预测性分析，通过基于方差的正则化和分布鲁棒优化，确保了模型在样本外的性能保证。该方法通过可处理的二阶锥规划重构，利用附加信息在随机优化中提升了决策质量。

ABSTRACT

We consider generic stochastic optimization problems in the presence of side information which enables a more insightful decision. The side information constitutes observable exogenous covariates that alter the conditional probability distribution of the random problem parameters. A decision maker who adapts her decisions according to the observed side information solves an optimization problem where the objective function is specified by the conditional expectation of the random cost. If the joint probability distribution is unknown, then the conditional expectation can be approximated in a data-driven manner using the Nadaraya-Watson (NW) kernel regression. While the emerging approximation scheme has found successful applications in diverse decision problems under uncertainty, it is largely unknown whether the scheme can provide any reasonable out-of-sample performance guarantees. In this paper, we establish guarantees for the generic problems by leveraging techniques from moderate deviations theory. Our analysis motivates the use of a variance-based regularization scheme which, in general, leads to a non-convex optimization problem. We adopt ideas from distributionally robust optimization to obtain tractable formulations. We present numerical experiments for newsvendor and wind energy commitment problems to highlight the effectiveness of our regularization scheme.

研究动机与目标

• 解决在具有附加信息的数据驱动随机优化中缺乏样本外性能保证的问题。
• 开发一种正则化Nadaraya-Watson估计器，通过控制条件方差来改善泛化能力。
• 利用分布鲁棒优化技术，将问题形式化为可处理的优化问题。
• 在诸如报童问题和风能承诺等实际决策问题中，展示正则化方案的有效性。
• 弥合基于核的条件期望估计与不确定性下的鲁棒决策之间的差距。

提出的方法

• 为Nadaraya-Watson估计器提出基于方差的正则化方案，以提升样本外性能。
• 利用中偏差理论推导正则化估计器的性能保证。
• 通过锥对偶性，将正则化优化问题重构为二阶锥规划（SOCP）。
• 应用分布鲁棒优化技术，处理由方差正则化引入的非凸性。
• 通过锥对偶性和分布鲁棒优化，推导出正则化问题的可处理重构形式，其约束为相对于条件均值的加权偏差。
• 采用从附加信息导出的核权重，以非参数方式计算条件期望。

实验结果

研究问题

• RQ1 正则化Nadaraya-Watson估计器是否能在数据驱动预测性分析中提供理论上的样本外性能保证？
• RQ2 基于方差的正则化如何提升基于核的条件期望估计的鲁棒性？
• RQ3 能否通过分布鲁棒优化技术将所得的非凸优化问题重构为可处理的形式？
• RQ4 与线性决策规则等基线方法相比，正则化方法在随机优化中的经验性能如何？
• RQ5 在报童问题和风能承诺等问题中，附加信息的引入如何影响决策质量？

主要发现

• 所提出的正则化Nadaraya-Watson估计器通过数据驱动的正则化方案控制条件方差，实现了改进的样本外性能。
• 该方法利用中偏差理论提供理论性能保证，确保估计的条件期望收敛。
• 通过锥对偶性和分布鲁棒优化，将非凸正则化问题重构为可处理的二阶锥规划。
• 在报童问题和风能承诺问题上的数值实验表明，正则化方法在样本外性能上优于标准Nadaraya-Watson方法和线性决策规则方法。
• 最优正则化参数 $λ$ 通过最大化经验样本外收益来选择，证明了该方案的实际有效性。
• 在投资组合示例中，忽略附加信息会导致预期收益下降29%，凸显了引入协变量的价值。