[论文解读] Optimal Thompson Sampling strategies for support-aware CVaR bandits

Dorian Baudry, Romain Gautron+2 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Bandit Algorithms Research参考文献 27被引用 7

一句话总结

本文提出了 B-CVTS 和 M-CVTS，这两种是针对有界奖励的条件风险价值（CVaR）多臂赌博机问题的新型 Thompson Sampling 算法，实现了 CVaR 损失最小化中的渐近最优性。作者在理论上将先前工作扩展至证明这些策略可达到 CVaR 损失的渐近下界，在合成环境与真实农业模拟中均优于基于 UCB 的方法，尤其在奖励支持上界被高估的情况下表现更优。

ABSTRACT

In this paper we study a multi-arm bandit problem in which the quality of each arm is measured by the Conditional Value at Risk (CVaR) at some level alpha of the reward distribution. While existing works in this setting mainly focus on Upper Confidence Bound algorithms, we introduce a new Thompson Sampling approach for CVaR bandits on bounded rewards that is flexible enough to solve a variety of problems grounded on physical resources. Building on a recent work by Riou & Honda (2020), we introduce B-CVTS for continuous bounded rewards and M-CVTS for multinomial distributions. On the theoretical side, we provide a non-trivial extension of their analysis that enables to theoretically bound their CVaR regret minimization performance. Strikingly, our results show that these strategies are the first to provably achieve asymptotic optimality in CVaR bandits, matching the corresponding asymptotic lower bounds for this setting. Further, we illustrate empirically the benefit of Thompson Sampling approaches both in a realistic environment simulating a use-case in agriculture and on various synthetic examples.

研究动机与目标

• 为解决现有针对有界奖励的 CVaR 多臂赌博机问题中缺乏渐近最优的 Thompson Sampling 策略的问题。
• 开发适用于物理资源相关问题（如农业决策）的灵活、风险感知型算法。
• 在 CVaR 多臂赌博机设置下，理论推导 Thompson Sampling 的 CVaR 损失界，扩展先前的分析工作。
• 通过真实世界与合成环境中的实证验证，证明所提方法在 CVaR 损失方面优于基于 UCB 的 CVaR 多臂赌博机算法。
• 评估算法在奖励支持上界估计不准确这一常见实际挑战下的鲁棒性。

提出的方法

• 针对连续有界奖励，提出 B-CVTS，采用 Beta-Bernoulli 共轭先验框架，从 CVaR 的后验分布中采样。
• 针对多项式分布奖励，提出 M-CVTS，将 Thompson Sampling 扩展至离散支持，并基于 CVaR 进行动作选择。
• 对 Riou 和 Honda（2020）的分析进行非平凡的理论扩展，推导出 CVaR 损失的渐近最优性界。
• 利用 CVaR 的定义——即对所有 x 取 x 减去按 1/α 缩放的正偏差期望的最大值——来建模风险规避型决策。
• 应用集中不等式与后验采样，以在 CVaR 准则下平衡探索与利用。
• 采用贝叶斯更新机制，结合观测到的奖励，以改进各动作特定 CVaR 值的后验估计。

实验结果

研究问题

• RQ1 Thompson Sampling 能否被调整以在具有有界奖励的 CVaR 多臂赌博机问题中实现渐近最优性？
• RQ2 所提出的 B-CVTS 和 M-CVTS 策略在 CVaR 损失方面与基于 UCB 的 CVaR 多臂赌博机算法相比表现如何？
• RQ3 在实际应用中，B-CVTS 对奖励支持上界估计过高时的性能鲁棒性如何？
• RQ4 在具有复杂、非高斯奖励分布的真实世界环境中，所提方法是否仍能保持优异性能？
• RQ5 所提算法的理论损失界是否可被证明与已知的 CVaR 多臂赌博机渐近下界一致？

主要发现

• B-CVTS 和 M-CVTS 是首个在理论上证明可实现 CVaR 多臂赌博机问题中渐近最优性的 Thompson Sampling 策略，其 CVaR 损失匹配理论下界。
• 在 7 动作的 DSSAT 农业模拟中，B-CVTS 在 T=10,000 且 α=5% 时达到 700 t/ha 的 CVaR 损失，显著优于 U-UCB（5687 t/ha）和 CVaR-UCB（1891 t/ha）。
• 在支持上界被高估（30 t/ha 对比真实值约 10 t/ha）的情况下，B-CVTS 仍保持强性能，α=5% 时损失为 195 t/ha，而 U-UCB 和 CVaR-UCB 的损失分别增加了 150% 和 75%。
• 对于 α=80%，B-CVTS 在正确支持设置下损失为 293 t/ha，在上界高估下损失为 284 t/ha，表现出良好鲁棒性。
• 实证结果表明，B-CVTS 在高维动作空间（如 7 个播种日期）中尤为有效，其损失与稳定性均优于基于 UCB 的方法。
• 本研究证明，Thompson Sampling 可成功扩展至使用一致风险度量（如 CVaR）的风险规避设置中，并实现理论与实证上的最优性能。