[论文解读] Reinforcement Mechanism Design for e-commerce

Qingpeng Cai, Aris Filos-Ratsikas+2 more|arXiv (Cornell University)|Aug 25, 2017

Auction Theory and Applications参考文献 31被引用 3

一句话总结

本文提出 IA(GRU)，一种用于电商平台曝光分配的深度强化学习算法，能够考虑卖家的战略行为。通过将分配问题建模为马尔可夫决策过程，并采用受 DDPG 启发的 GRU 增强演员-评论家架构，IA(GRU) 在多种卖家理性模型下均实现了更优的收入表现与稳定性，优于 DDPG 和启发式基线方法，在固定与可变卖家设置下表现更佳。

ABSTRACT

We study the problem of allocating impressions to sellers in e-commerce websites, such as Amazon, eBay or Taobao, aiming to maximize the total revenue generated by the platform. We employ a general framework of reinforcement mechanism design, which uses deep reinforcement learning to design efficient algorithms, taking the strategic behaviour of the sellers into account. Specifically, we model the impression allocation problem as a Markov decision process, where the states encode the history of impressions, prices, transactions and generated revenue and the actions are the possible impression allocations in each round. To tackle the problem of continuity and high-dimensionality of states and actions, we adopt the ideas of the DDPG algorithm to design an actor-critic policy gradient algorithm which takes advantage of the problem domain in order to achieve convergence and stability. We evaluate our proposed algorithm, coined IA(GRU), by comparing it against DDPG, as well as several natural heuristics, under different rationality models for the sellers - we assume that sellers follow well-known no-regret type strategies which may vary in their degree of sophistication. We find that IA(GRU) outperforms all algorithms in terms of the total revenue.

研究动机与目标

• 设计一种高效的电商平台曝光分配机制，以在考虑卖家战略行为的前提下最大化总收益。
• 解决协同过滤等启发式方法的局限性，这些方法忽略了动态定价策略与长期收益权衡。
• 开发一种可扩展、稳定的强化学习框架，通过无遗憾学习策略建模卖家理性。
• 在多种理性模型（如 ε-贪婪、ε-首、UCB1 和 Exp3）下评估该算法，以反映现实电商中有限理性的表现。
• 在包含数千名卖家的大规模场景下，展示所提方法的可扩展性与鲁棒性。

提出的方法

• 将曝光分配问题建模为马尔可夫决策过程（MDP），其中状态编码了历史曝光数据、价格、交易记录与收益。
• 所提出的 IA(GRU) 算法使用基于 GRU 的循环神经网络处理序列状态历史，有效建模卖家行为中的长期依赖关系。
• 采用演员-评论家深度强化学习框架，对 DDPG 算法进行领域特定改进，以提升收敛性与稳定性。
• 通过策略梯度方法端到端训练算法，优化在卖家战略行为下的长期收益。
• 在大规模场景下（10,000 名卖家）采用“分而治之”方法，将问题划分为 50 个子问题，每个子问题包含 200 名卖家。
• 在多种理性模型下评估性能，包括 ε-贪婪、ε-首、UCB1 和 Exp3，以模拟卖家决策中的有限理性。

实验结果

研究问题

• RQ1 基于强化学习的机制设计框架是否能在卖家具有战略行为的电商曝光分配中超越传统启发式方法？
• RQ2 所提出的 IA(GRU) 算法在不同卖家理性模型（如 ε-贪婪与 UCB1）下的表现如何？
• RQ3 基于 GRU 的记忆机制是否能提升高维连续状态-动作空间中的学习稳定性与收敛性？
• RQ4 IA(GRU) 算法是否能有效扩展至包含数千名卖家的大规模电商平台？
• RQ5 在动态且异质的卖家群体中，IA(GRU) 与最先进的 DDPG 及启发式基线相比，在性能与稳定性方面表现如何？

主要发现

• 在所有测试的卖家理性模型（包括 ε-贪婪、ε-首、UCB1 和 Exp3）下，IA(GRU) 在平均收益方面始终优于 DDPG、贪婪短视法与线性 UCB 启发式方法。
• DDPG 在 200 名卖家场景下无法收敛，表明其在高维设置下存在不稳定性，而 IA(GRU) 保持了稳定且高性能的学习表现。
• 在可变卖家设置下，IA(GRU) 表现出优于其他算法的稳定性与性能，而其他算法在动态条件下显著退化。
• 即使在针对 10,000 名卖家采用“分而治之”启发式方法时，IA(GRU) 仍显著优于 DDPG 和启发式方法，展现出良好的可扩展性。
• 在采用混合理性策略的异质卖家群体中，该算法实现了更高的总收益与更优的收敛性。
• IA(GRU) 中使用 GRU 有效增强了对历史状态的记忆，从而提升了学习稳定性与长期收益优化能力。