[论文解读] Reinforcement Mechanism Design, with Applications to Dynamic Pricing in Sponsored Search Auctions

Weiran Shen, Binghui Peng+8 more|arXiv (Cornell University)|Nov 28, 2017

Auction Theory and Applications参考文献 28被引用 24

一句话总结

本文提出了一种基于强化学习的动态出价机制设计框架，通过结合数据驱动的投标人行为模型与基于MCTS的优化算法，动态优化赞助搜索广告拍卖中的保留价格。在真实出价数据上的仿真结果表明，该方法在长期收益生成方面显著优于静态和动态基线策略。

ABSTRACT

In this study, we apply reinforcement learning techniques and propose what we call reinforcement mechanism design to tackle the dynamic pricing problem in sponsored search auctions. In contrast to previous game-theoretical approaches that heavily rely on rationality and common knowledge among the bidders, we take a data-driven approach, and try to learn, over repeated interactions, the set of optimal reserve prices. We implement our approach within the current sponsored search framework of a major search engine: we first train a buyer behavior model, via a real bidding data set, that accurately predicts bids given information that bidders are aware of, including the game parameters disclosed by the search engine, as well as the bidders' KPI data from previous rounds. We then put forward a reinforcement/MDP (Markov Decision Process) based algorithm that optimizes reserve prices over time, in a GSP-like auction. Our simulations demonstrate that our framework outperforms static optimization strategies including the ones that are currently in use, as well as several other dynamic ones.

研究动机与目标

• 解决依赖于投标人理性与共同知识等不切实际假设的静态、基于博弈论的拍卖设计所存在的局限性。
• 开发一种数据驱动的动态定价框架，通过学习真实出价行为，随时间优化保留价格。
• 在赞助搜索拍卖中实现超越当前工业实践与理论静态优化的收益表现。
• 将投标人行为建模为马尔可夫过程，并利用强化学习根据不断演变的投标人策略动态调整保留价格。

提出的方法

• 在真实出价数据上训练循环神经网络（RNN）投标人行为模型，基于公开的游戏参数与历史KPI预测出价。
• 将保留价格优化问题建模为马尔可夫决策过程（MDP），其中状态包含当前拍卖参数与投标人行为。
• 使用蒙特卡洛树搜索（MCTS）在时间上探索并选择最优保留价格，模拟未来拍卖结果。
• 实现一种可配置时间步长（Δt）的动态更新机制，以平衡收益增长与平台稳定性。
• 在反馈回路中集成投标人模型与MCTS：使用更新后的保留价格模拟拍卖，并迭代优化预测。
• 以基于Myerson收益最大化的静态最优保留价格（作为基准）进行对比。

实验结果

研究问题

• RQ1 基于数据驱动与强化学习的方法是否能在赞助搜索拍卖中超越静态与启发式动态定价策略？
• RQ2 不同更新频率（Δt）下，动态保留价格优化的性能如何变化？
• RQ3 学习得到的投标人行为模型在多大程度上能提升长期收益，相较于基于均衡或静态假设的模型？
• RQ4 投标人如何响应保留价格的突然变化？系统能否自适应调整以维持收益稳定？

主要发现

• 所提出的强化机制设计框架在长期收益方面显著优于所有静态策略，包括当前百度生产系统（BAIDU）。
• 基于MCTS的动态策略优于GREEDY启发式方法，后者仅进行局部5%调整且缺乏全局规划能力。
• 激进定价策略（如突然提高保留价格）的收益起初迅速上升，但随着投标人适应，收益迅速下降，凸显了渐进式优化的必要性。
• 该框架在收敛后达到的收益水平高于STATIC_OPT，后者虽初始表现良好，但因缺乏适应性而随时间推移而恶化。
• 较长的更新间隔（Δt = 7）产生的收益更高且收敛更快，优于每日更新（Δt = 1），表明更少频率、更稳定的调整更具有效性。
• GREEDY算法的性能几乎被Δt = 3的MCTS方法所匹配，表明MCTS在战略规划方面具有实质性优势。