[论文解读] Synthetically Controlled Bandits

Vivek F. Farias, Ciamac C. Moallemi+2 more|arXiv (Cornell University)|Feb 14, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出合成控制汤普森采样（SCTS），一种针对受干扰的粗粒度实验单元的动态实验设计方法，通过合成控制估计处理效应。SCTS 实现了接近最优的遗憾尺度 $ rackslashsqrt{T} $，同时在处理效应为正时保持有效的推断，避免了高昂的实验成本，且在结果有益时不会牺牲推断能力。

ABSTRACT

This paper presents a new dynamic approach to experiment design in settings where, due to interference or other concerns, experimental units are coarse. `Region-split' experiments on online platforms are one example of such a setting. The cost, or regret, of experimentation is a natural concern here. Our new design, dubbed Synthetically Controlled Thompson Sampling (SCTS), minimizes the regret associated with experimentation at no practically meaningful loss to inferential ability. We provide theoretical guarantees characterizing the near-optimal regret of our approach, and the error rates achieved by the corresponding treatment effect estimator. Experiments on synthetic and real world data highlight the merits of our approach relative to both fixed and `switchback' designs common to such experimental settings.

研究动机与目标

• 为解决因用户交互效应导致使用区域或城市等粗粒度单元时实验成本高昂的问题。
• 在动态实验中最小化遗憾，同时保持对正向处理效应的准确估计能力。
• 开发一种上下文带通算法，即使在未观测到、存在噪声且旋转模糊的上下文向量时，也能利用合成控制。
• 在信噪比较低和非平稳数据条件下，确保有效的统计推断——特别是置信区间和假设检验。
• 实现在实际平台中的可部署性，由于每轮成本高昂，必须避免次优处理。

提出的方法

• SCTS 采用汤普森采样框架，并通过精心设计的探索噪声，在无法直接观测上下文的情况下平衡探索与利用。
• 通过历史结果数据的主成分分析（PCA）事后恢复上下文向量（潜在公共因子）。
• 该方法考虑了上下文恢复中的噪声和旋转模糊性，确保对估计误差的鲁棒性。
• 使用重抽样检验进行推断，构建的置信区间即使在低信噪比下也能保持接近名义上的覆盖概率。
• 该算法基于合成控制预测动态选择处理，最小化遗憾，同时保持推断有效性。
• 理论上证明遗憾界按 $ r\backslashsqrt{T} $ 缩放，其中 $ r $ 为潜在上下文的维度，$ T $ 为时间范围。

实验结果

研究问题

• RQ1 在粗粒度实验单元和干扰存在的情况下，动态带通算法能否实现接近最优的遗憾，同时保持对处理效应的有效推断？
• RQ2 当真实上下文不可观测，仅能获得噪声且线性变换后的观测时，如何将合成控制方法整合进上下文带通框架？
• RQ3 由于噪声和旋转模糊性导致的上下文恢复误差，对遗憾和推断有何影响？
• RQ4 在信噪比较低时，特别是处理效应较小或被噪声掩盖时，能否维持有效的统计推断？
• RQ5 SCTS 在遗憾和估计精度方面与固定设计和切换设计相比表现如何？

主要发现

• SCTS 实现了 $ O(r\backslashsqrt{T}) $ 的遗憾界，这是具有潜在未观测上下文的底层上下文带通问题中接近最优的。
• 重抽样检验在低信噪比下仍保持接近理想的覆盖概率（例如 SNR = 0.1 时为 0.89）和高统计功效（SNR = 1 时为 0.98）。
• 在 SNR = 0.2 时，检验功效保持在 81%，表明在噪声条件下表现强劲。
• 该方法仅在处理效应为正时能实现有效推断，这与成本效益分析的实际需求一致。
• 与固定设计和切换设计相比，该方法显著降低了遗憾，尤其在非平稳或易受干扰的环境中。
• 通过重抽样构建的置信区间在从 0.01 到 1 的广泛信噪比范围内均保持保守覆盖。