[论文解读] Risk-Sensitive Variational Bayes: Formulations and Bounds

Prateek Jaiswal, Harsha Honnappa+1 more|arXiv (Cornell University)|Mar 12, 2019

Statistical Methods and Inference参考文献 41被引用 4

一句话总结

本文提出了一种风险敏感的变分贝叶斯框架，利用风险度量的对偶表示，近似高维、复杂的贝叶斯决策问题中的后验风险敏感目标。通过用基于优化的推断替代MCMC，建立了最优性差距的有限样本界，理论保证与新报童问题的仿真结果表明，该方法显著提升了决策质量。

ABSTRACT

We study data-driven decision-making problems in a parametrized Bayesian framework. We adopt a risk-sensitive approach to modeling the interplay between statistical estimation of parameters and optimization, by computing a risk measure over a loss/disutility function with respect to the posterior distribution over the parameters. While this forms the standard Bayesian decision-theoretic approach, we focus on problems where calculating the posterior distribution is intractable, a typical situation in modern applications with %high-dimensional parameter space large datasets, heterogeneity due to observed covariates and latent group structure. The key methodological innovation we introduce in this paper is to leverage a dual representation of the risk measure to introduce an optimization-based framework for approximately computing the posterior risk-sensitive objective, as opposed to using standard sampling based methods such as Markov Chain Monte Carlo. Our analytical contributions include rigorously proving finite sample bounds on the `optimality gap' of optimizers obtained using the computational methods in this paper, from the `true' optimizers of a given decision-making problem. We illustrate our results by comparing the theoretical bounds with simulations of a newsvendor problem on two methods extracted from our computational framework.

研究动机与目标

• 解决在具有协变量和潜结构的高维、大规模贝叶斯决策问题中后验计算不可行的挑战。
• 开发一种风险敏感的决策框架，不仅通过后验估计建模不确定性，还通过损失函数上的风险度量来建模不确定性。
• 用基于优化的方法替代传统的基于采样的推断（如MCMC），以近似后验风险敏感目标。
• 为计算解相对于真实最优决策的质量，提供严格的有限样本理论保证。

提出的方法

• 利用风险度量的对偶表示，将风险敏感目标重新表述为一个可处理的优化问题。
• 将后验风险敏感目标表述为在变分分布族上的最小化问题，以实现高效计算。
• 通过风险约束的拉格朗日松弛，推导出一个平衡估计精度与风险敏感性的代理目标。
• 应用优化技术（如随机梯度方法）最小化变分目标，避免使用MCMC采样。
• 在真实后验下，建立计算解与真实最优决策之间最优性差距的有限样本界。
• 通过基于计算框架推导出的两种方法，在新报童问题上对框架进行仿真验证。

实验结果

研究问题

• RQ1 当后验计算不可行时，如何在参数化贝叶斯框架内形式化风险敏感的决策？
• RQ2 风险度量的对偶表示能否为计算风险敏感目标提供比MCMC更高效、可扩展的替代方案？
• RQ3 针对通过所提出的基于优化的推断方法获得的解，可以提供哪些有限样本的理论保证？
• RQ4 在有限样本设置下，所提方法的性能界与标准基于采样的方法相比如何？

主要发现

• 所提出的基于优化的框架实现了计算解与真实最优决策之间最优性差距的有限样本界，为解的质量提供了理论上的信心。
• 该方法在计算效率方面优于标准的基于采样的方法，同时保持了强大的理论保证。
• 在新报童问题上的仿真结果表明，所推导的方法相比基线方法能获得更紧的最优性差距界。
• 风险度量的对偶表示使风险敏感目标得以凸化重构，从而适用于可扩展的优化技术。
• 该框架适用于高维参数空间和复杂数据结构，包括具有协变量和潜分组结构的情形。
• 理论界通过仿真得到经验验证，证明其在不确定性下的实际决策中具有相关性。