[论文解读] Power Constrained Bandits

Jiayu Yao, Emma Brunskill+3 more|PubMed|Apr 13, 2020

Advanced Bandit Algorithms Research参考文献 39被引用 15

一句话总结

本文提出了功率约束Bandits（Power Constrained Bandits），一种元算法框架，通过选择性地共享信息并应用动作翻转、数据丢弃或概率截断等封装器，对现有上下文Bandit算法进行修改，以在移动健康应用中保证治疗效果推断的统计功效，同时最小化遗憾。该方法通过封装器机制在模型误设情况下仍能保持稳健的统计功效，实现各类场景下接近理想的功效（例如0.84–0.93）。

ABSTRACT

Contextual bandits often provide simple and effective personalization in decision making problems, making them popular tools to deliver personalized interventions in mobile health as well as other health applications. However, when bandits are deployed in the context of a scientific study-e.g. a clinical trial to test if a mobile health intervention is effective-the aim is not only to personalize for an individual, but also to determine, with sufficient statistical power, whether or not the system's intervention is effective. It is essential to assess the effectiveness of the intervention before broader deployment for better resource allocation. The two objectives are often deployed under different model assumptions, making it hard to determine how achieving the personalization and statistical power affect each other. In this work, we develop general meta-algorithms to modify existing algorithms such that sufficient power is guaranteed while still improving each user's well-being. We also demonstrate that our meta-algorithms are robust to various model mis-specifications possibly appearing in statistical studies, thus providing a valuable tool to study designers.

研究动机与目标

• 解决在移动健康中个性化干预的双重挑战，同时保证检测治疗效果的充分统计功效。
• 调和临床试验设计中遗憾最小化（用户福祉）与统计功效（科学推断）之间的冲突目标。
• 开发一种通用型元算法，可应用于现有Bandit算法而无需大规模重构。
• 在治疗效果估计中对模型误设保持稳健，尤其在非平稳或随机用户行为下。
• 通过保持动作概率远离0和1，支持事后离策略评估。

提出的方法

• 提出一种元算法，封装现有上下文Bandit算法（如linUCB、ACTS、BOSE），以强制实施功效约束。
• 引入三种封装策略：动作翻转、数据丢弃和概率截断，以维持足够的探索以保障功效。
• 使用功效保持策略类来定义遗憾最小化的理想基准。
• 在元算法与基础Bandit算法之间应用信息共享机制，以在不牺牲功效的前提下提升个性化程度。
• 采用离策略评估技术在部署后验证结果，确保动作概率远离0和1。
• 在潜在结果模型下采用统计推断方法，以保证功效的方式量化治疗效果。

实验结果

研究问题

• RQ1 我们能否修改现有的遗憾最小化上下文Bandit算法，以保证检测治疗效果的充分统计功效？
• RQ2 在治疗效果结构存在模型误设时，该元算法的性能如何变化？
• RQ3 在应用动作翻转或概率截断等封装策略时，遗憾与功效之间的权衡如何？
• RQ4 该元算法能否在确保动作概率远离0和1的同时维持功效，以支持离策略评估？
• RQ5 在真实世界移动健康模拟环境中，该元算法与基线Bandit算法相比表现如何？

主要发现

• 所提出的元算法在所有测试场景中均实现了高统计功效（例如0.84–0.93），包括非线性和误设的治疗效果模型。
• 概率截断封装器在所有算法和场景中均持续保持功效高于0.8，尤其在模型误设下表现出最强稳健性。
• linUCB表现出最低的稳健性，在模型误设下功效降至0.5以下，而ACTS和BOSE则保持功效高于0.8。
• 动作翻转封装器在固定π=0.5设置下实现了最高功效（0.931 ± 0.016），优于基线算法。
• 与理想策略相比，该元算法降低了遗憾，其中截断版本在移动健康模拟器中实现2.104–2.219 × 10³的遗憾，接近最优的2.093 × 10³。
• 在移动健康模拟器中，概率截断封装器实现了0.901 ± 0.019的功效，仅产生0.025 × 10³的遗憾，展现出优异的权衡效率。