[论文解读] Principal Stratification for Advertising Experiments

Ron Berman, Elea McDonnell Feit|arXiv (Cornell University)|Nov 19, 2019

Consumer Market Behavior and Pricing参考文献 25被引用 3

一句话总结

本文提出了一种主分层模型，通过将客户分为三类——始终购买者、抗拒者（仅在暴露于广告时购买）和从不购买者，来提高广告实验中ATE估计的精度。通过隔离治疗效应恰好为零的大量始终购买者群体，该方法在约14万名参与者参与的五个邮件目录实验中，将ATE方差降低了36%至57%。

ABSTRACT

Advertising experiments often suffer from noisy responses making precise estimation of the average treatment effect (ATE) and evaluating ROI difficult. We develop a principal stratification model that improves the precision of the ATE by dividing the customers into three strata - those who buy regardless of ad exposure, those who buy only if exposed to ads and those who do not buy regardless. The method decreases the variance of the ATE by separating out the typically large share of customers who buy and therefore have individual treatment effects that are exactly zero. Applying the procedure to 5 catalog mailing experiments with sample sizes around 140,000 shows a reduction of 36-57% in the variance of the estimate. When we include pre-randomization covariates that predict stratum membership, we find that estimates of customers' past response to similar advertising are a good predictor of stratum membership, even if such estimates are biased because past advertising was targeted. Customers who have not purchased recently are also more likely to be in the never purchase stratum. We provide simple summary statistics that firms can compute from their own experiment data to determine if the procedure is expected to be beneficial before applying it.

研究动机与目标

• 解决广告实验中噪声响应带来的挑战，这些挑战会妨碍对平均处理效应（ATE）的精确估计。
• 通过结构化地考虑客户响应行为的异质性，降低ATE估计的方差。
• 评估预随机化协变量（如过去对广告的响应）是否能预测分层归属并改善估计。
• 提供实用的汇总统计量，使企业可在实施前评估该方法是否可能带来益处。

提出的方法

• 根据潜在结果将客户分为三类主分层：始终购买者（无论是否暴露于广告都会购买）、抗拒者（仅在暴露时才购买）和从不购买者（无论是否暴露都不会购买）。
• 在每个分层内建模ATE，并通过合并估计值来获得更精确的整体ATE，从而减少因包含零效应单位而带来的方差。
• 利用预随机化协变量（如过去的购买行为）来预测分层归属，即使过去广告投放是定向的、存在偏差的情况也能实现。
• 将该分层模型应用于五个实际的邮件目录实验，样本量约为140,000人，以评估方差降低效果。
• 利用从实验数据中提取的简单汇总统计量，帮助企业在实际应用前评估该方法的潜在收益。

实验结果

研究问题

• RQ1 主分层方法能否在响应噪声较大的广告实验中降低ATE估计的方差？
• RQ2 预随机化协变量（如过去购买行为）在广告实验中预测分层归属的效能如何？
• RQ3 包含能够预测分层归属的协变量是否能提高ATE估计的精度？
• RQ4 在何种实际条件下，主分层方法预计会带来显著益处？

主要发现

• 在约140,000名参与者的五个邮件目录实验中，主分层模型将ATE估计的方差降低了36%至57%。
• 近期未购买过的客户显著更可能属于“从不购买”分层。
• 即使过去广告投放是定向的、存在偏差，过去对类似广告的响应仍是分层归属的强预测因子。
• 该方法有效隔离了治疗效应恰好为零的大量始终购买者群体，从而降低了ATE估计的整体方差。
• 企业可利用自身数据中的简单汇总统计量，判断应用该方法是否可能带来显著的方差降低。