[论文解读] Safe Linear Thompson Sampling.

Ahmadreza Moradipari, Sanae Amani+2 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Bandit Algorithms Research被引用 8

一句话总结

该论文提出了一种适用于线性安全约束下随机线性Bandit问题的安全线性Thompson Sampling算法，该算法在每一轮中都必须满足线性安全约束。通过利用Thompson Sampling的内在探索特性，该方法实现了频率学 regret 为 $\mathcal{O}(d^{3/2}\log^{1/2}d \cdot T^{1/2}\log^{3/2}T)$，与无安全约束的标准线性TS方法的最先进性能相当。

ABSTRACT

The design and performance analysis of bandit algorithms in the presence of stage-wise safety or reliability constraints has recently garnered significant interest. In this work, we consider the linear stochastic bandit problem under additional extit{linear safety constraints} that need to be satisfied at each round. We provide a new safe algorithm based on linear Thompson Sampling (TS) for this problem and show a frequentist regret of order $\mathcal{O} (d^{3/2}\log^{1/2}d \cdot T^{1/2}\log^{3/2}T)$, which remarkably matches the results provided by [Abeille et al., 2017] for the standard linear TS algorithm in the absence of safety constraints. We compare the performance of our algorithm with a UCB-based safe algorithm and highlight how the inherently randomized nature of TS leads to a superior performance in expanding the set of safe actions the algorithm has access to at each round.

研究动机与目标

• 解决在保持 regret 性能的同时，维持线性随机Bandit中安全约束的挑战。
• 设计一种基于Thompson Sampling的算法，确保每一轮都满足线性安全约束。
• 实现与无安全约束下的标准线性TS相当的 regret 边界。
• 证明随机探索在TS中相对于UCB方法中确定性探索的优势。

提出的方法

• 该算法通过将线性安全约束融入后验采样过程，扩展了线性Thompson Sampling。
• 在每一轮中，动作从一个关于参数的后验分布中采样，该分布基于观测到的奖励和安全约束进行条件化。
• 安全约束被建模为必须对所有候选动作都满足的线性不等式。
• 该算法维护一个对参数向量的置信椭球，确保在有界不确定性范围内进行安全探索。
• 通过针对约束采样量身定制的浓度不等式和鞅论论证，进行 regret 分析。
• 该方法通过基于约束可行性的后验采样，确保所有选择的动作在每一轮中都保证是安全的。

实验结果

研究问题

• RQ1 能否在不牺牲 regret 性能的前提下，将Thompson Sampling适配于线性Bandit中的线性安全约束？
• RQ2 在相同约束下，安全Thompson Sampling算法的 regret 与安全UCB算法相比如何？
• RQ3 Thompson Sampling 的内在随机性是否能提供比确定性UCB方法更广泛的可行安全动作集？
• RQ4 在满足线性安全约束下，线性Bandit算法可达到的最紧致 regret 边界是什么？

主要发现

• 所提出的安全部线性Thompson Sampling算法实现了频率学 regret 为 $\mathcal{O}(d^{3/2}\log^{1/2}d \cdot T^{1/2}\log^{3/2}T)$，与标准线性TS的性能一致。
• 该 regret 边界与动作数量无关，仅依赖于维度 $d$ 和时域 $T$。
• 由于Thompson Sampling中随机采样带来的更广泛探索，该算法优于基于UCB的安全算法。
• 与基于UCB的算法相比，该算法可访问的安全动作集随时间推移扩展得更快。
• 通过基于约束可行性的后验采样，所有轮次中的安全约束均被严格强制执行。