[论文解读] Statistical Inference and A/B Testing for First-Price Pacing Equilibria

Luofeng Liao, Christian Kroer|arXiv (Cornell University)|Jan 5, 2023

Consumer Market Behavior and Pricing被引用 6

一句话总结

本文为大规模第一价格广告拍卖中的首购定价平衡（FPPE）开发了一套统计推断框架，即使在预算约束出价者导致的干扰下，也能实现有效的A/B测试。该研究建立了中心极限定理、渐近有效的置信区间，并证明了对关键指标（如收入和纳什社会福利）估计量的局部渐近最小最大最优性，其有效性通过模拟和经验覆盖概率得到验证。

ABSTRACT

We initiate the study of statistical inference and A/B testing for first-price pacing equilibria (FPPE). The FPPE model captures the dynamics resulting from large-scale first-price auction markets where buyers use pacing-based budget management. Such markets arise in the context of internet advertising, where budgets are prevalent. We propose a statistical framework for the FPPE model, in which a limit FPPE with a continuum of items models the long-run steady-state behavior of the auction platform, and an observable FPPE consisting of a finite number of items provides the data to estimate primitives of the limit FPPE, such as revenue, Nash social welfare (a fair metric of efficiency), and other parameters of interest. We develop central limit theorems and asymptotically valid confidence intervals. Furthermore, we establish the asymptotic local minimax optimality of our estimators. We then show that the theory can be used for conducting statistically valid A/B testing on auction platforms. Numerical simulations verify our central limit theorems, and empirical coverage rates for our confidence intervals agree with our theory.

研究动机与目标

• 为解决广告拍卖平台中因预算拆分导致处理组之间干扰，而缺乏A/B测试的统计理论的问题。
• 通过具有连续物品数量的极限FPPE模型，对具有预算约束出价者的首购拍卖市场长期行为进行建模。
• 从有限样本可观察的FPPE数据中估计关键基本量（如收入和纳什社会福利）。
• 为市场结果估计量开发渐近有效的置信区间，并建立局部渐近最小最大最优性。
• 通过考虑预算约束下策略性出价行为，使真实广告平台中能够实现统计上有效的A/B测试。

提出的方法

• 提出一种统计框架，其中具有连续物品数量的极限FPPE模型用于描述拍卖平台的稳态行为。
• 将具有有限数量物品的可观察FPPE作为数据，用于估计极限FPPE的基本量，如收入和纳什社会福利。
• 推导在FPPE模型下市场结果估计量的中心极限定理，从而支持渐近推断。
• 利用中心极限定理和基于Hessian矩阵的方差估计方法，构建关键指标的渐近有效置信区间。
• 建立所提估计量的局部渐近最小最大最优性，表明其在局部渐近框架下实现了最佳可能的估计精度。
• 通过数值模拟和不同价值分布（均匀、正态、指数）下置信区间的经验覆盖概率，对理论结果进行验证。

实验结果

研究问题

• RQ1 在出价者使用基于调节系数的预算管理且A/B测试中因预算拆分导致干扰的第一价格广告拍卖中，能否严格开展统计推断？
• RQ2 在FPPE模型下，关键市场结果（如收入和纳什社会福利）估计量的渐近分布是什么？
• RQ3 所提出的FPPE基本量估计量是否渐近有效，能否实现局部渐近最小最大最优性？
• RQ4 理论置信区间在有限样本中的表现如何？其经验覆盖率是否与名义水平一致？
• RQ5 所提出的框架能否在预算约束下用于真实广告平台中进行统计上有效的A/B测试？

主要发现

• FPPE中收入和纳什社会福利的估计量实现了渐近正态性，从而可构建有效的置信区间。
• 在多种模拟设置下，收入90%置信区间的实际覆盖率与名义90%水平高度一致，验证了理论预测。
• 估计量具有局部渐近最小最大最优性，意味着其在局部渐近框架下实现了最小均方误差的最优值。
• 估计调节系数分布的收敛速度非标准，对于最优调节系数为1的买家收敛更快。
• 数值结果表明，Hessian估计中平滑参数对数值精度有可测量但可控的影响，且在不同价值分布下均表现出稳定收敛。
• 在不同处理概率和市场规模下，处理效应置信区间的覆盖率保持稳健，大多数配置下的覆盖率接近名义水平。