[论文解读] Residuals-based distributionally robust optimization with covariate information

Rohit Kannan, Güzi̇n Bayraksan+1 more|arXiv (Cornell University)|Dec 2, 2020

Risk and Portfolio Optimization被引用 7

一句话总结

该论文提出了一种基于残差的分布鲁棒优化（DRO）框架，将协变量信息和机器学习预测整合到有限数据下的随机优化中。通过在回归模型的残差周围构建Wasserstein距离和φ-散度基的模糊集，该方法确保了对分布不确定性具有鲁棒性，在模型误设或小样本情况下，尤其在数据有限的场景下，实现了更优的样本外性能。

ABSTRACT

We consider data-driven approaches that integrate a machine learning prediction model within distributionally robust optimization (DRO) given limited joint observations of uncertain parameters and covariates. Our framework is flexible in the sense that it can accommodate a variety of regression setups and DRO ambiguity sets. We investigate asymptotic and finite sample properties of solutions obtained using Wasserstein, sample robust optimization, and phi-divergence-based ambiguity sets within our DRO formulations, and explore cross-validation approaches for sizing these ambiguity sets. Through numerical experiments, we validate our theoretical results, study the effectiveness of our approaches for sizing ambiguity sets, and illustrate the benefits of our DRO formulations in the limited data regime even when the prediction model is misspecified.

研究动机与目标

• 解决在不确定参数与协变量的联合观测有限时的决策问题。
• 在标准SAA方法表现欠佳的小样本场景下，提升数据驱动随机优化的样本外性能。
• 开发一种灵活的DRO框架，整合机器学习预测，而无需依赖条件分布样本。
• 为基于Wasserstein距离和φ-散度的模糊集，提供收敛速率和有限样本性能的理论保证。
• 提出基于数据的模糊集半径调优方法，利用交叉验证，无需访问给定$X=x$时的条件分布$Y|X=x$样本。

提出的方法

• 利用协变量$X$和不确定参数$Y$的联合观测训练的回归模型，构建基于残差的样本平均近似（SAA）公式。
• 通过在残差的经验分布周围定义模糊集，使用Wasserstein距离或φ-散度，构建分布鲁棒优化（DRO）公式。
• 使用Wasserstein模糊集对给定$X=x$时$Y$的估计条件分布周围的分布不确定性进行建模，确保对小扰动具有鲁棒性。
• 应用样本鲁棒优化（SRO）和基于φ-散度的模糊集，以捕捉残差分布中的模型不确定性。
• 采用基于交叉验证的算法（如算法2）调优模糊集半径，无需访问$Y|X=x$的条件分布样本，从而实现实际应用。
• 推导出在各种模糊集结构下，所得到的DRO解的理论收敛速率和有限样本保证。

实验结果

研究问题

• RQ1 当仅有限联合观测协变量和不确定参数时，如何有效将机器学习预测整合到分布鲁棒优化中？
• RQ2 当模糊集基于回归模型残差构建时，DRO解的渐近性质和有限样本性质是什么？
• RQ3 如何在不访问给定$X=x$时$Y$的条件分布样本的情况下，以数据驱动方式调优模糊集半径？
• RQ4 所提出的基于残差的DRO框架在模型误设的小样本场景下，相较于标准SAA和ER-SAA，性能优势有多大？
• RQ5 模型复杂度（如多项式回归的阶数）对所得到DRO解的性能和鲁棒性有何影响？

主要发现

• 在数据有限的场景下，基于残差的DRO公式显著优于标准ER-SAA，尤其在预测模型误设时表现更优。
• 当$\theta=1$和$\theta=0.5$时，Wasserstein-DRO公式的悲观偏差随样本量增加而减小，表明其一致性得到改善。
• 当$\theta=2$时，由于模型误设，悲观偏差持续存在，且模糊集半径不会收敛至零，凸显了该方法在模型拟合不佳情况下的鲁棒性。
• 所提出的基于交叉验证的模糊集半径调优方法（如算法2）在无需条件分布样本的情况下，有效平衡了鲁棒性与性能。
• ER-DRO与ER-SAA方法具有互补性：ER-DRO在小样本中表现优异，而ER-SAA在大样本场景下在较弱假设下仍保持可计算性。
• 理论分析证实，所提出的DRO公式在基于Wasserstein和φ-散度的模糊集下，实现了有利的收敛速率和有限样本性能保证。