[论文解读] Optimizing Gross Merchandise Volume via DNN-MAB Dynamic Ranking Paradigm

Yan Yan, Wentao Guo+3 more|arXiv (Cornell University)|Aug 14, 2017

Advanced Bandit Algorithms ResearchDecision Sciences参考文献 21被引用 17

一句话总结

本文提出 DNN-MAB，一种动态排序框架，结合成对深度神经网络（DNN）预排序器与改进的 Thompson 采样多臂老虎机（MAB）后排序器，以优化商品交易总额（GMV）。通过整合实时用户反馈（如点击与转化），系统可动态调整排序结果，提升用户意图对齐效果，在京东的生产环境中显著提升了 GMV。

ABSTRACT

With the transition from people's traditional `brick-and-mortar' shopping to online mobile shopping patterns in web 2.0 $\mathit{era}$, the recommender system plays a critical role in E-Commerce and E-Retails. This is especially true when designing this system for more than $\mathbf{236~million}$ daily active users. Ranking strategy, the key module of the recommender system, needs to be precise, accurate, and responsive for estimating customers' intents. We propose a dynamic ranking paradigm, named as DNN-MAB, that is composed of a pairwise deep neural network (DNN) $\mathit{pre}$-ranker connecting a revised multi-armed bandit (MAB) dynamic $\mathit{post}$-ranker. By taking into account of explicit and implicit user feedbacks such as impressions, clicks, conversions, etc. DNN-MAB is able to adjust DNN $\mathit{pre}$-ranking scores to assist customers locating items they are interested in most so that they can converge quickly and frequently. To the best of our knowledge, frameworks like DNN-MAB have not been discussed in the previous literature to either E-Commerce or machine learning audiences. In practice, DNN-MAB has been deployed to production and it easily outperforms against other state-of-the-art models by significantly lifting the gross merchandise volume (GMV) which is the objective metrics at JD.

研究动机与目标

• 解决电商推荐系统中静态排序的局限性，即未动态整合用户意图与反馈。
• 通过基于用户行为实时调整商品排序，实现对转化率与商品交易总额（GMV）的提升。
• 设计一种可扩展、可投入生产的动态排序框架，实现实时推荐场景中探索与利用的平衡。
• 通过在两级排序流水线中整合深度学习与上下文老虎机，克服传统排序学习与 MAB 模型的不足。
• 在拥有超过 2.36 亿活跃用户的大型电商环境中验证该框架的有效性，重点关注 GMV 与 DCG 等实际性能指标。

提出的方法

• 该框架使用成对 DNN 作为预排序器，基于用户与商品特征生成初始商品相关性得分。
• 改进的 Thompson 采样算法作为后排序器，利用实时反馈（曝光、点击、转化）动态调整预排序得分。
• MAB 组件采用一种新颖的初始化策略，以加速收敛并减少生产环境中的早期遗憾。
• 系统实时处理用户交互，支持在线学习，并持续根据当前用户意图自适应调整排序结果。
• 两级架构将静态相关性建模（DNN）与动态反馈适应（MAB）分离，提升了可扩展性与响应速度。
• 该框架已部署于京东生产环境，能够持续从用户交互中学习，并实时更新排序结果。

实验结果

研究问题

• RQ1 如何有效结合基于深度学习的预排序器与上下文老虎机后排序器，以提升电商场景下的动态排序效果？
• RQ2 与静态模型相比，实时反馈（如点击、转化）的整合对 GMV 与排序有效性有何影响？
• RQ3 采用自定义初始化的改进 Thompson 采样算法如何提升大规模生产推荐系统中的收敛速度与性能？
• RQ4 该混合 DNN-MAB 框架是否能在保持可扩展性的前提下，超越最先进模型在 GMV 与 DCG 表现上的水平？
• RQ5 在动态排序中，优化 GMV 与其他关键绩效指标（如订单量）之间的权衡是什么？如何实现多目标优化？

主要发现

• DNN-MAB 框架在生产环境中显著优于基线模型，显著提升了商品交易总额（GMV），这是京东的核心业务指标。
• 系统在 DCG（折损累积收益）指标上表现更优，表明排序质量与用户满意度得到提升。
• 采用自定义初始化的改进 Thompson 采样算法实现了更快的收敛速度并减少了早期遗憾，提升了对用户反馈的响应能力。
• 该框架在真实生产环境中表现出强健性，可处理超过 2.36 亿活跃用户及每日数十亿次交互。
• 尽管 GMV 与 DCG 指标有所提升，但部分时间段内订单量出现短暂下降，表明需进一步优化多 KPI 平衡。
• DNN 预排序与 MAB 后排序的集成被证明高效且可扩展，在生产环境中未报告显著可扩展性问题。