[论文解读] Online Inference for Advertising Auctions

Caio Waisman, Harikesh S. Nair+2 more|arXiv (Cornell University)|Aug 22, 2019

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种改进的Thompson Sampling算法，通过将问题建模为多臂赌博机（multi-armed bandit），在实时广告拍卖中同时优化出价策略并估计广告曝光的影响。该方法在经济损失方面优于传统方法，通过拍卖的经济结构将学习与因果推断相统一。

ABSTRACT

Advertisers that engage in real-time bidding (RTB) to display their ads commonly have two goals: learning their optimal bidding policy and estimating the expected effect of exposing users to their ads. Typical strategies to accomplish one of these goals tend to ignore the other, creating an apparent tension between the two. This paper exploits the economic structure of the bid optimization problem faced by advertisers to show that these two objectives can actually be perfectly aligned. By framing the advertiser's problem as a multi-armed bandit (MAB) problem, we propose a modified Thompson Sampling (TS) algorithm that concurrently learns the optimal bidding policy and estimates the expected effect of displaying the ad while minimizing economic losses from potential sub-optimal bidding. Simulations show that not only the proposed method successfully accomplishes the advertiser's goals, but also does so at a much lower cost than more conventional experimentation policies aimed at performing causal inference.

研究动机与目标

• 解决在实时出价（RTB）拍卖中，学习最优出价策略与估计广告曝光因果效应之间的矛盾。
• 开发一个统一框架，同时实现上述两个目标而不牺牲性能。
• 最小化学习过程中因次优出价导致的经济损失。
• 利用RTB的经济结构，使学习的探索与因果推断的估计相协调。
• 优于传统实验策略，后者为追求因果推断而付出高昂的经济代价。

提出的方法

• 将广告主的出价优化问题建模为多臂赌博机（MAB）问题。
• 提出一种改进的Thompson Sampling算法，以在RTB背景下平衡探索与利用。
• 该方法联合学习最优出价策略并估计广告曝光的期望效应。
• 算法利用拍卖的经济结构，确保探索不会导致过度损失。
• 基于观测到的拍卖结果，对出价值进行后验分布的随机抽样。
• 该方法在保持因果效应估计统计准确性的同时，最小化遗憾和经济损失。

实验结果

研究问题

• RQ1 是否可以在RTB中同时实现最优出价策略的学习与广告曝光因果效应的估计？
• RQ2 如何设计学习的探索过程，以在保证准确因果推断的同时最小化经济损失？
• RQ3 与传统实验策略相比，所提方法在多大程度上降低了经济成本？
• RQ4 通过RTB拍卖机制的经济结构将学习与估计对齐，是否能提升整体广告主表现？
• RQ5 改进的Thompson Sampling算法是否能有效平衡实时出价环境中的探索与利用？

主要发现

• 所提方法成功并行学习了最优出价策略并估计了广告曝光效应。
• 与传统实验策略相比，该方法在实现两个目标时的经济成本显著更低。
• 模拟结果表明，该方法最小化了遗憾，同时保持了高精度的效应估计。
• 学习与估计的对齐得益于RTB拍卖机制固有的经济结构。
• 改进的Thompson Sampling算法在预算约束下，优于标准方法，能更有效地平衡探索与利用。
• 该方法降低了学习与因果推断之间的权衡，使其在实际部署中更具效率。