[论文解读] Risk-Constrained Thompson Sampling for CVaR Bandits

Joel Q. L. Chang, Qiuyu Zhu+1 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Bandit Algorithms Research参考文献 24被引用 5

一句话总结

该论文提出CVaR-TS，一种基于Thompson Sampling的多臂老虎机算法，用于在条件风险价值（CVaR）约束下实现风险感知的探索-利用权衡。该算法在特定情形下实现了与理论下界匹配的实例相关 regret 边界，并在模拟实验中优于基于LCB/UCB的方法，尤其在识别受风险约束下可行/不可行的臂方面表现更优。

ABSTRACT

The multi-armed bandit (MAB) problem is a ubiquitous decision-making problem that exemplifies the exploration-exploitation tradeoff. Standard formulations exclude risk in decision making. Risk notably complicates the basic reward-maximising objective, in part because there is no universally agreed definition of it. In this paper, we consider a popular risk measure in quantitative finance known as the Conditional Value at Risk (CVaR). We explore the performance of a Thompson Sampling-based algorithm CVaR-TS under this risk measure. We provide comprehensive comparisons between our regret bounds with state-of-the-art L/UCB-based algorithms in comparable settings and demonstrate their clear improvement in performance. We also include numerical simulations to empirically verify that CVaR-TS outperforms other L/UCB-based algorithms.

研究动机与目标

• 为解决标准多臂老虎机公式中缺乏风险感知的问题，引入CVaR作为风险度量。
• 设计一种基于Thompson Sampling的算法（CVaR-TS），尊重用户定义的风险容忍度阈值，根据CVaR将臂分类为可行或不可行。
• 对CVaR-TS的 regret 性能进行理论分析，并通过实证验证其在风险约束老虎机设置下相较于最先进LCB/UCB方法的性能。
• 证明CVaR-TS在特定参数范围内实现了实例相关的 regret 边界，达到最优性。

提出的方法

• CVaR-TS 使用 Thompson Sampling 从臂奖励的后验分布中采样，其中奖励分布假设为高斯分布。
• 该算法将臂分类为可行（CVaR ≤ τ）或不可行（CVaR > τ），其中 τ 为用户定义的风险容忍度水平。
• 采用三重 regret 框架：在可行次优臂上的 regret、在不可行臂上的 regret 以及总 regret，与 Kagrecha 等人（2020a）保持一致。
• 理论分析利用高斯分布之间的 KL 散度，并应用 Kagrecha 等人（2020a）提出的实例相关下界以评估最优性。
• 该方法推导出非最优臂期望抽取次数的上界，并表明在特定情形下 regret 增长率与实例相关下界一致。
• 数值模拟将 CVaR-TS 与 RC-LCB 和 MaRaB 进行比较，评估多种 regret 指标和风险分类准确率。

实验结果

研究问题

• RQ1 Thompson Sampling 能否被有效适配于基于 CVaR 的风险约束多臂老虎机问题？
• RQ2 CVaR-TS 在风险约束老虎机问题中的 regret 性能与基于 LCB/UCB 的算法相比如何？
• RQ3 CVaR-TS 是否在高斯 CVaR 老虎机设置中实现了与理论下界匹配的实例相关 regret 边界？
• RQ4 CVaR-TS 在识别不可行臂方面表现如何，尤其在误报和漏报方面？

主要发现

• CVaR-TS 在特定参数范围内实现了与 Kagrecha 等人（2020a）推导出的理论下界匹配的实例相关 regret 边界，表明其渐近最优。
• 非最优臂的期望抽取次数受到约束，满足 liminf_{n→∞} E[T_{i,n}] / log n ≥ 1 / η(i,α)，其中 η(i,α) 通过高斯分布之间的 KL 散度定义。
• 对于不可行臂，regret 边界为 ∑_{i∈K_τ^c} ξ²σ_i²D_{α,ξ}^i Δ_τ(i)，显示出对风险阈值和分布参数的依赖性。
• 对于可行但次优的臂，regret 边界为 ∑_{i∈K_τ∖K*} 2 / Δ(i)，在特定条件下与均值-方差老虎机的实例相关下界一致。
• 数值模拟结果表明，CVaR-TS 在总 regret 和正确识别不可行臂方面显著优于 RC-LCB 和 MaRaB。
• 该算法在识别违反风险约束的臂方面表现出鲁棒性，相较于基线方法显著减少了对高风险臂的抽取次数。