[论文解读] Randomization and The Pernicious Effects of Limited Budgets on Auction Experiments
本文表明，在拍卖实验中采用（查询，广告商）随机化会因受试者与对照组竞标者之间的干扰，导致处理效应估计出现严重偏差，尤其是在联合预算限制的情况下。研究发现，查询随机化与拆分预算分配可显著降低偏差，从而实现对出价和限流处理效应的无偏估计。
Buyers (e.g., advertisers) often have limited financial and processing resources, and so their participation in auctions is throttled. Changes to auctions may affect bids or throttling and any change may affect what winners pay. This paper shows that if an A/B experiment affects only bids, then the observed treatment effect is unbiased when all the bidders in an auction are randomly assigned to A or B but it can be severely biased otherwise, even in the absence of throttling. Experiments that affect throttling algorithms can also be badly biased, but the bias can be substantially reduced if the budget for each advertiser in the experiment is allocated to separate pots for the A and B arms of the experiment.
研究动机与目标
- 分析随机化方案对广告拍卖A/B实验中偏差的影响。
- 识别预算约束与限流机制如何扭曲处理效应估计。
- 比较查询随机化与（查询，广告商）随机化在偏差与方差方面的表现。
- 评估拆分预算与联合预算分配在降低估计偏差方面的有效性。
- 为在现实世界预算与处理约束下设计无偏拍卖实验提供实用指导。
提出的方法
- 作者使用潜在结果模型对拍卖实验进行建模，为每位广告商在处理与对照条件下定义潜在出价与支付金额。
- 引入两种随机化方案：查询随机化（整个拍卖被分配至单一实验组）与（查询，广告商）随机化（广告商独立分配）。
- 通过因果模型形式化干扰效应，特别关注受试者与对照组竞标者之间的竞争如何扭曲观测结果。
- 定义联合配额与拆分配额制度，其中联合配额将所有出价汇总至单一预算下，而拆分配额则为每个实验组分配独立预算。
- 使用对数正态出价分布与不同限流率进行模拟，评估不同实验设计下的偏差与方差。
- 通过相对偏差与均方根误差（RMSE）评估处理效应估计，比较不同随机化与配额方案下的估计器表现。
实验结果
研究问题
- RQ1（查询，广告商）随机化如何在广告拍卖中导致出价变更处理效应估计的偏差？
- RQ2在限流实验中，联合预算分配与拆分预算分配对处理效应估计器偏差有何影响？
- RQ3受试者与对照组竞标者之间的干扰如何影响拍卖环境中A/B测试结果的有效性？
- RQ4查询随机化是否能提供比（查询，广告商）随机化更准确的处理效应估计？在何种条件下？
- RQ5拆分预算分配能否消除联合预算限流实验中观察到的严重偏差？
主要发现
- 在（查询，广告商）随机化下，处理效应估计的相对偏差最高可达1.5，表明其偏差比查询随机化高出50%。
- 对于出价处理，在处理出价比控制出价高5%且限流率约为66%时，（查询，广告商）随机化下的估计器方差最高可达查询随机化下的6倍。
- 在联合配额限流下，总收入估计器的相对偏差约为-1，意味着无论真实处理效应如何，其始终估计为零。
- 拆分配额分配显著降低偏差，即使在理论条件不满足时，相对偏差也接近于零，使其成为联合配额的稳健替代方案。
- （查询，广告商）随机化与查询随机化之间的方差比始终大于1，且可能随样本量增加而上升，表明前者的精度更差。
- 模拟结果表明，相对偏差与方差比在样本量增大时趋于稳定，表明小规模模拟结果可代表大规模真实实验的发现。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。