[论文解读] Parallel Experimentation in a Competitive Advertising Marketplace

Xiliang Lin, Harikesh S. Nair+2 more|arXiv (Cornell University)|Mar 27, 2019

Consumer Market Behavior and Pricing参考文献 20被引用 5

一句话总结

本文提出了一种因果推断框架与实验设计，用于在数字市场平台上对多个企业开展并行广告实验，能够在考虑企业间干扰的情况下准确估计处理效应。在京东商城广告平台对16家广告商及数百万用户进行评估，结果表明该方法具有可行性，并凸显了在竞争性广告环境中交互效应的关键作用。

ABSTRACT

When multiple firms are simultaneously running experiments on a platform, the treatment effects for one firm may depend on the experimentation policies of others. This paper presents a set of causal estimands that are relevant to such an environment. We also present an experimental design that is suitable for facilitating experimentation across multiple competitors in such an environment. Together, these can be used by a platform to run experiments "as a service," on behalf of its participating firms. We show that the causal estimands we develop are identified nonparametrically by the variation induced by the design, and present two scalable estimators that help measure them in typical high-dimensional situations. We implement the design on the advertising platform of JD.com, an eCommerce company, which is also a publisher of digital ads in China. We discuss how the design is engineered within the platform's auction-driven ad-allocation system, which is typical of modern, digital advertising marketplaces. Finally, we present results from a parallel experiment involving 16 advertisers and millions of JD.com users. These results showcase the importance of accommodating a role for interactions across experimenters and demonstrates the viability of the framework.

研究动机与目标

• 为解决多企业广告实验中干扰的问题，其中处理效应取决于竞争对手的行为。
• 开发能够捕捉某一企业实验影响的因果 estimands，同时考虑其他企业的实验策略。
• 设计一种与数字市场平台中基于拍卖的广告分配系统兼容的可扩展实验框架。
• 使平台能够同时为多个广告商提供‘实验即服务’，确保因果推断的有效性。

提出的方法

• 提出了一组非参数可识别的因果 estimands，用于在并行实验中考虑企业间的干扰。
• 设计了一种实验框架，通过在不同企业间诱导处理暴露的变化，实现对所提 estimands 的识别。
• 开发了两种适用于高维数据的可扩展估计器，便于在现实世界的数字广告环境中进行估计。
• 将该设计集成到京东商城基于拍卖的广告分配系统中，确保与现有平台基础设施的兼容性。
• 使用随机化与暴露映射，同时为多个广告商定义处理组与对照组。

实验结果

研究问题

• RQ1 在多个企业广告环境中，当实验相互干扰时，如何估计因果效应？
• RQ2 当多个广告商在共享平台上并行运行实验时，何种实验设计可实现有效推断？
• RQ3 一个广告商的处理效应如何依赖于其他企业在竞争市场中的实验行为？
• RQ4 平台能否可靠地同时支持多个广告商的并行实验，同时保持统计有效性与可扩展性？

主要发现

• 所提出的因果 estimands 通过实验设计所诱导的变异实现了非参数可识别性。
• 两种可扩展估计器能够在高维、现实世界的广告数据中实现对处理效应的精确测量。
• 该实验设计成功集成到京东商城基于拍卖的广告分配系统中，且未干扰现有运营。
• 一项包含16家广告商及数百万用户的并行实验表明，企业间的干扰显著影响处理结果。
• 结果验证了该框架的可行性，并强调了在竞争性广告平台中对实验者之间交互作用进行建模的重要性。