[论文解读] Optimal No-regret Learning in Repeated First-price Auctions

Yanjun Han, Zhengyuan Zhou+1 more|arXiv (Cornell University)|Mar 22, 2020

Advanced Bandit Algorithms Research参考文献 55被引用 15

一句话总结

本文提出了重复第一价格拍卖中在反馈被截断（即出价者仅能观测到中标的出价）场景下的首个最优无遗憾学习算法。通过利用拍卖的反馈结构与收益函数，该算法在私有价值为随机分布时实现近似最优的 $Õ(\sqrt{T}\log^{2.5}T)$ 违约，在私有价值为对抗性分布时实现 $O(\sqrt{T}\log^3 T)$ 违约，为该设置建立了紧致的学习保证。

ABSTRACT

We study online learning in repeated first-price auctions where a bidder, only observing the winning bid at the end of each auction, learns to adaptively bid in order to maximize her cumulative payoff. To achieve this goal, the bidder faces censored feedback: if she wins the bid, then she is not able to observe the highest bid of the other bidders, which we assume is extit{iid} drawn from an unknown distribution. In this paper, we develop the first learning algorithm that achieves a near-optimal $\widetilde{O}(\sqrt{T})$ regret bound, by exploiting two structural properties of first-price auctions, i.e. the specific feedback structure and payoff function. We first formulate the feedback structure in first-price auctions as partially ordered contextual bandits, a combination of the graph feedback across actions (bids), the cross learning across contexts (private values), and a partial order over the contexts. We establish both strengths and weaknesses of this framework, by showing a curious separation that a regret nearly independent of the action/context sizes is possible under stochastic contexts, but is impossible under adversarial contexts. In particular, this framework leads to an $O(\sqrt{T}\log^{2.5}T)$ regret for first-price auctions when the bidder's private values are \emph{iid}. Despite the limitation of the above framework, we further exploit the special payoff function of first-price auctions to develop a sample-efficient algorithm even in the presence of adversarially generated private values. We establish an $O(\sqrt{T}\log^3 T)$ regret bound for this algorithm, hence providing a complete characterization of optimal learning guarantees for first-price auctions.

研究动机与目标

• 设计一种学习算法，实现在出价者仅能观测中标出价的重复第一价格拍卖中近乎最优的违约。
• 解决反馈被截断的挑战，即当出价者中标时，无法观测到最高竞争对手的出价。
• 刻画在随机与对抗性私有价值设置下，第一价格拍卖中学习的根本极限。
• 建立一个部分有序上下文Bandit的新框架，以建模第一价格拍卖的反馈与收益结构。
• 提供紧致的违约界，其在随机情况下与信息论下界一致，在对抗情况下为最优。

提出的方法

• 提出一种广义Bandit框架，称为部分有序上下文Bandit，用于建模第一价格拍卖中的反馈与收益结构。
• 设计一种新颖的区间分割方案，以处理相关奖励，并在对抗性设置中提高估计精度。
• 采用主算法 ML-IS-UCB，结合重要性采样与置信上界，以平衡探索与利用。
• 使用Bernstein不等式与集中不等式，控制奖励与概率估计中的估计误差。
• 利用一个关键的组合引理（引理16）来界定跨出价的累积倒数计数，从而实现紧致的违约分析。
• 使用保留样本估计竞争对手出价的分布，并控制UCB构造中的置信区间。

实验结果

研究问题

• RQ1 能否为反馈被截断（即最高竞争对手出价不可观测）的重复第一价格拍卖设计一种无遗憾学习算法？
• RQ2 在私有价值为随机分布时，重复第一价格拍卖中可实现的最优违约是多少？
• RQ3 在对抗性设置下，能否实现与动作数和上下文数无关的违约？
• RQ4 第一价格拍卖中的反馈与收益结构如何使得学习保证优于标准Bandit模型？
• RQ5 在对抗性私有价值设置下，第一价格拍卖中学习的根本极限是什么？

主要发现

• 当私有价值独立同分布时，本文实现的违约界为 $O(\sqrt{T}\log^{2.5}T)$，接近最优。
• 在对抗性私有价值下，所提算法实现的违约界为 $O(\sqrt{T}\log^3 T)$，与信息论下界仅相差对数因子。
• 部分有序上下文Bandit框架捕捉了图反馈、跨上下文学习以及上下文部分序之间的相互作用。
• 揭示了一个有趣的现象：在随机上下文设置下，违约可近乎与动作和上下文规模无关；但在对抗性设置下，这不可能实现。
• 分析证明，所提出的ML-IS-UCB策略通过结合重要性采样与区间分割，可实现奖励估计的高概率集中。
• 提出并证明了一个组合引理（引理16），用于界定跨出价的累积倒数计数，从而在分析中实现紧致的违约控制。