[论文解读] Personalized Treatment Selection using Causal Heterogeneity

Ye Tu, Kinjal Basu+5 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Bandit Algorithms Research参考文献 34被引用 5

一句话总结

本文提出了一种基于A/B测试中因果异质性的两阶段个性化治疗选择框架：首先在群体或成员层面估计异质性治疗效应，然后通过约束随机优化进行治疗分配。该方法显著优于全局分配和启发式方法，在LinkedIn的真实通知上限实验中，成员会话量提升了1.39%，通知发送量增加了1.64%。

ABSTRACT

Randomized experimentation (also known as A/B testing or bucket testing) is widely used in the internet industry to measure the metric impact obtained by different treatment variants. A/B tests identify the treatment variant showing the best performance, which then becomes the chosen or selected treatment for the entire population. However, the effect of a given treatment can differ across experimental units and a personalized approach for treatment selection can greatly improve upon the usual global selection strategy. In this work, we develop a framework for personalization through (i) estimation of heterogeneous treatment effect at either a cohort or member-level, followed by (ii) selection of optimal treatment variants for cohorts (or members) obtained through (deterministic or stochastic) constrained optimization. We perform a two-fold evaluation of our proposed methods. First, a simulation analysis is conducted to study the effect of personalized treatment selection under carefully controlled settings. This simulation illustrates the differences between the proposed methods and the suitability of each with increasing uncertainty. We also demonstrate the effectiveness of the method through a real-life example related to serving notifications at Linkedin. The solution significantly outperformed both heuristic solutions and the global treatment selection baseline leading to a sizable win on top-line metrics like member visits.

研究动机与目标

• 解决A/B测试中全局治疗分配的次优性问题，即尽管用户响应存在异质性，仍对所有用户应用单一治疗方案。
• 开发一种方法，利用随机实验中的因果异质性，实现在群体或成员层面的个性化治疗选择。
• 使用随机优化技术，在多个约束条件（如保护性指标）下优化治疗分配。
• 在不确定性下评估该方法的性能，并与全局分配和启发式基线进行比较。
• 展示该方法在提升关键业务指标的同时保持约束合规性的实际有效性。

提出的方法

• 使用因果森林或树模型基于A/B测试数据估计异质性治疗效应，采用诚实估计方法以提高置信区间覆盖度。
• 根据估计的治疗效应异质性将用户分组为群体，实现更精细的个性化。
• 应用基于CSA算法的随机优化框架（CT.ST）求解具有多个期望约束的约束优化问题。
• 使用样本平均近似和方差感知估计方法处理治疗效应估计中的不确定性。
• 实施两阶段流程：(1) 因果异质性估计，(2) 受约束的治疗选择优化。
• 支持确定性和随机治疗分配策略，以在性能与风险之间取得平衡。

实验结果

研究问题

• RQ1 基于因果异质性的个性化治疗选择是否能在真实A/B测试场景中显著优于全局分配？
• RQ2 该方法在治疗效应估计不确定性增加时的性能表现如何变化？
• RQ3 群体层面个性化对关键业务指标（如会话量和通知参与度）有何影响？
• RQ4 该方法如何在最大化主要目标的同时保持约束合规性（如负面指标如取消通知）？
• RQ5 该框架能否在生产系统中有效部署，且延迟和内存开销极低？

主要发现

• 所提方法实现了成员会话量1.39%的相对增长，显著优于全局分配基线和启发式方法。
• 与两种启发式基线（分别6.62%和3.07%）相比，个性化方法使通知发送量增加了1.64%。
• 该方法保持了约束合规性，总取消通知数保持中性，而启发式方法使取消通知数最高增加了9.23%。
• CT.ST优化方法在不确定性下表现出强鲁棒性，并在多个指标上优于启发式和全局分配策略。
• 该框架已在LinkedIn成功部署，用于个性化每日通知上限，显著提升了核心业务指标。
• 该方法通过为偏好不同的代表性不足用户群体提供差异化治疗，实现了更具包容性的体验。