[论文解读] Risk-Aversion in Multi-armed Bandits

Amir Sani, Alessandro Lazaric+1 more|arXiv (Cornell University)|Jan 9, 2013

Advanced Bandit Algorithms Research参考文献 14被引用 92

一句话总结

本文提出了一种风险规避的多臂老虎机框架，其目标是与均值-方差权衡最佳的臂竞争，而非期望奖励最高的臂。该文提出了两种算法——MV-LCB 和 pExp，提供了理论保证并进行了经验验证，显示出 regret 率为 $ O(K/n^{1/3}) $，表明风险规避的老虎机问题本质上比标准老虎机问题更困难。

ABSTRACT

Stochastic multi-armed bandits solve the Exploration-Exploitation dilemma and ultimately maximize the expected reward. Nonetheless, in many practical problems, maximizing the expected reward is not the most desirable objective. In this paper, we introduce a novel setting based on the principle of risk-aversion where the objective is to compete against the arm with the best risk-return trade-off. This setting proves to be intrinsically more difficult than the standard multi-arm bandit setting due in part to an exploration risk which introduces a regret associated to the variability of an algorithm. Using variance as a measure of risk, we introduce two new algorithms, investigate their theoretical guarantees, and report preliminary empirical results.

研究动机与目标

• 为解决标准多臂老虎机仅最大化期望奖励的局限性，该方法可能导致现实应用中高方差、高风险的结果。
• 形式化一种新的老虎机设置，其目标是选择在均值-方差表现上最优的臂，使用方差作为风险度量。
• 设计最小化相对于最优臂在均值-方差性能上 regret 的算法。
• 分析这些算法的理论性质并进行经验验证。
• 通过建立 worst-case regret 下界 $ \Omega(K/n^{1/3}) $，探索风险规避老虎机问题的内在难度。

提出的方法

• 本文定义了一个均值-方差老虎机问题，其中每条臂具有均值 $ \mu_i $ 和方差 $ \sigma_i^2 $ 的奖励分布，目标是相对于均值-方差比率最佳的臂最小化 regret。
• 提出 MV-LCB，一种置信区间算法，通过构建均值的下界和方差的上界来估计每条臂的风险-收益权衡。
• 引入 pExp，一种通过优先选择具有有利均值-方差权衡的臂来平衡探索与利用的策略，使用风险规避参数。
• 理论分析推导出两种算法的 regret 上界为 $ O(K/n^{1/3}) $，表明其内在难度高于标准老虎机。
• 本文使用方差作为对称的风险度量，并推导出集中不等式以控制均值和方差估计误差。
• 经验评估将 MV-LCB 和 pExp 与基线算法进行比较，展示了在模拟环境中改进的风险规避性能。

实验结果

研究问题

• RQ1 能否设计一种多臂老虎机算法，使其优化均值-方差权衡而非最高期望奖励？
• RQ2 风险规避老虎机学习的根本困难是什么？是否会导致比标准老虎机问题更高的 regret 率？
• RQ3 置信区间技术能否被调整以高概率同时估计均值和方差，从而指导风险规避决策？
• RQ4 对于风险规避老虎机，$ O(K/n^{1/3}) $ 的 regret 率是否可实现且紧致？是否可获得更优的率？
• RQ5 诸如风险价值（Value-at-Risk）或条件风险价值（Conditional Value-at-Risk）等替代风险度量，如何影响老虎机算法的设计与性能？

主要发现

• 本文建立了均值-方差老虎机问题 worst-case regret 下界 $ \Omega(K/n^{1/3}) $，表明风险规避老虎机本质上比标准老虎机更困难。
• 所提出的 MV-LCB 算法实现了 $ O(K/n^{1/3}) $ 的 regret 上界，与推导出的下界仅在对数因子内匹配。
• pExp 算法在所有测试问题中也实现了相同的 $ O(K/n^{1/3}) $ regret 率，表明其对不同问题实例具有鲁棒性。
• 经验结果表明，MV-LCB 和 pExp 在最小化风险调整后 regret 方面优于标准老虎机算法，尤其在高方差环境中表现更优。
• 研究发现，标准 UCB 风格的算法可能因高方差而在非可忽略概率下遭受较大 regret，凸显了风险感知设计的必要性。
• 本文表明 $ O(K/n^{1/3}) $ 的率在 worst case 下可能是最优的，暗示风险规避与标准老虎机学习之间存在根本性差距。