[论文解读] X-Armed Bandits: Optimizing Quantiles, CVaR and Other Risks

Léonard Torossian, Aurélien Garivier+1 more|arXiv (Cornell University)|Apr 17, 2019

Risk and Portfolio Optimization参考文献 22被引用 10

一句话总结

本文提出StoROO，一种新颖的X-armed多臂赌博机算法，用于在随机黑箱环境中优化风险敏感型泛函（如分位数和CVaR）。通过利用基于Kullback-Leibler散度和Chernoff型不等式的紧密置信区间，StoROO在收敛速度和简单遗憾方面显著优于使用Hoeffding或Bernstein不等式边界的基线方法，尤其在低概率尾部分布区域表现更优。

ABSTRACT

We propose and analyze StoROO, an algorithm for risk optimization on stochastic black-box functions derived from StoOO. Motivated by risk-averse decision making fields like agriculture, medicine, biology or finance, we do not focus on the mean payoff but on generic functionals of the return distribution. We provide a generic regret analysis of StoROO and illustrate its applicability with two examples: the optimization of quantiles and CVaR. Inspired by the bandit literature and black-box mean optimizers, StoROO relies on the possibility to construct confidence intervals for the targeted functional based on random-size samples. We detail their construction in the case of quantiles, providing tight bounds based on Kullback-Leibler divergence. We finally present numerical experiments that show a dramatic impact of tight bounds for the optimization of quantiles and CVaR.

研究动机与目标

• 解决在随机黑箱优化中风险规避的决策问题，其中目标不是期望收益，而是分位数和CVaR等风险敏感型泛函。
• 将StoOO框架扩展至连续输入空间，以优化奖励分布的一般泛函，而不仅限于期望值。
• 使用比经典不等式更紧的偏离界限，为分位数和CVaR构建高概率置信区间。
• 通过实证结果证明，更紧的置信区间可显著提升简单遗憾指标下的优化性能。
• 提供适用于任意风险泛函的通用遗憾分析，并针对分位数和CVaR进行具体实例化。

提出的方法

• 通过为目标泛函（如分位数、CVaR）构建上置信界（UCB）而非均值，将StoOO的乐观优化框架适配至风险泛函。
• 利用基于Kullback-Leibler散度和Chernoff界限的置信区间，收紧分位数估计的UCB，从而在准确性上优于Hoeffding或Bernstein界限。
• 采用剥皮论证法（而非简单并集界限）以减少置信区间的过度估计，尤其在StoROO_kl-p变体中效果显著。
• 应用Brown（2007）和Thomas & Learned-Miller（2019）的偏离不等式，推导出CVaR优化的更紧置信界限。
• 对输入空间[0,1]^D实施分层划分，通过选择具有高UCB的区域实现对最优点的高效搜索。
• 利用对奖励分布支撑的oracle界限，进一步收紧置信区间并加速收敛。

实验结果

研究问题

• RQ1 能否设计一种通用的X-armed多臂赌博机算法，用于在连续输入空间中优化分位数和CVaR等风险泛函？
• RQ2 不同置信区间构造方法（Hoeffding、Bernstein、Chernoff）对分位数和CVaR优化中的简单遗憾有何影响？
• RQ3 基于Kullback-Leibler散度和Chernoff不等式的更紧置信区间，与经典界限相比，能在多大程度上提升优化性能？
• RQ4 在置信区间构造中使用剥皮论证法是否能带来可测量的收敛速度提升？
• RQ5 对奖励支撑的oracle界限的可用性如何影响风险优化多臂赌博机算法的性能？

主要发现

• 在τ=0.9的分位数优化中，StoROO_kl和StoROO_kl-p在T=5,000时将简单遗憾降低至10^-4，而StoROO_H需T=15,000才能达到相同精度。
• 在τ=0.1时，StoROO_H无法达到StoROO_kl和StoROO_kl-p的性能水平，需显著更大的预算才能实现相近的遗憾水平。
• 在CVaR优化中，采用Thomas & Learned-Miller（2019）更紧界限的变体始终优于其他方法，无论是否使用oracle界限。
• 利用奖励分布最小值和最大值的oracle界限可加速收敛，尤其在结合紧密置信区间时效果更明显。
• StoROO_kl-p中采用的剥皮论证法在Φ₁上提供了可测量但微不足道的性能提升，而在Φ₂上无显著影响。
• 数值实验确认，更紧的置信区间可显著降低简单遗憾，尤其在分布尾部（如τ=0.1或0.9）表现突出。