[论文解读] Structural Properties of Bayesian Bandits with Exponential Family Distributions

Yaming Yu|arXiv (Cornell University)|Mar 16, 2011

Advanced Bandit Algorithms Research参考文献 20被引用 3

一句话总结

本文建立了具有指数族似然和共轭先验的贝叶斯 bandit 的一般结构性质，证明了某个臂的价值随其先验均值增加而增加，随其先验权重减少而减少，统一并推广了伯努利和正态 bandit 的已知结果。关键贡献是通过随机序和凸性，对探索-利用权衡进行了形式化、分布无关的刻画。

ABSTRACT

We study a bandit problem where observations from each arm have an exponential family distribution and different arms are assigned independent conjugate priors. At each of n stages, one arm is to be selected based on past observations. The goal is to find a strategy that maximizes the expected discounted sum of the $n$ observations. Two structural results hold in broad generality: (i) for a fixed prior weight, an arm becomes more desirable as its prior mean increases; (ii) for a fixed prior mean, an arm becomes more desirable as its prior weight decreases. These generalize and unify several results in the literature concerning specific problems including Bernoulli and normal bandits. The second result captures an aspect of the exploration-exploitation dilemma in precise terms: given the same immediate payoff, the less one knows about an arm, the more desirable it becomes because there remains more information to be gained when selecting that arm. For Bernoulli and normal bandits we also obtain extensions to nonconjugate priors.

研究动机与目标

• 统一并推广贝叶斯 bandit 在指数族分布下的单调性结果。
• 使用随机序，形式化先验均值和先验权重的探索-利用权衡。
• 将结构性结果扩展至伯努利和正态 bandit 的非共轭先验。
• 为有限horizon、非几何贴现设置下的 Gittins 指数和动态分配提供理论基础。

提出的方法

• 使用参数化为先验均值 γ 和先验权重 τ 的指数族分布与共轭先验，形式化两臂 bandit 问题。
• 利用凸序和似然比序，比较不同先验下的后验分布和价值函数。
• 应用逆向归纳法和动态规划，推导具有通用贴现序列的有限horizon问题的价值函数。
• 通过归纳法和随机优势论证，证明价值函数关于先验均值递增、关于先验权重递减。
• 通过凸序和后验方差界，将结果扩展至伯努利和正态 bandit 的非共轭先验。
• 利用正态位置-尺度族的性质和后验均值导数，建立卷积下的单调性。

实验结果

研究问题

• RQ1 在具有指数族似然的贝叶斯 bandit 中，先验均值如何影响任一臂的最优价值？
• RQ2 在不确定性存在的情况下，先验权重（样本量）如何影响臂的可取性？
• RQ3 能否使用随机序在指数族 bandit 中统一刻画探索-利用权衡？
• RQ4 Gittins 指数的单调性是否可扩展至非几何贴现和一般共轭先验？
• RQ5 伯努利和正态 bandit 的非共轭先验下，单调性结果能否被推广？

主要发现

• 对于固定的先验权重，任一臂的先验均值越大，其最优期望收益越高。
• 对于固定的先验均值，任一臂的先验权重越小，其最优期望收益越高，形式化了探索的价值。
• 价值函数关于正态先验均值是凸的，支持使用后验均值作为充分统计量。
• 后验均值导数等于后验方差，从而可对信念更新速度进行界定。
• 对于伯努利和正态 bandit 的非共轭先验，相同单调性在凸序和随机优势下依然成立。
• 关于较低先验权重总是带来更高 Gittins 指数的猜想，在非几何贴现下仍为开放问题。