[论文解读] Value-aware Recommendation based on Reinforced Profit Maximization in E-commerce Systems

Changhua Pei, Xinru Yang+6 more|arXiv (Cornell University)|Feb 3, 2019

Recommender Systems and Techniques参考文献 30被引用 13

一句话总结

本文提出了一种价值感知的推荐框架，利用强化学习直接优化电子商务系统中的利润，通过将点击转化率（CVR）泛化为任意用户行为的转化率（XVR），并为每项行为赋予经济价值。该方法在传统排序指标和系统级利润方面均取得显著提升，在在线A/B测试中相较基于DNN的基线模型实现6.8%的GMV增长。

ABSTRACT

Existing recommendation algorithms mostly focus on optimizing traditional recommendation measures, such as the accuracy of rating prediction in terms of RMSE or the quality of top-$k$ recommendation lists in terms of precision, recall, MAP, etc. However, an important expectation for commercial recommendation systems is to improve the final revenue/profit of the system. Traditional recommendation targets such as rating prediction and top-$k$ recommendation are not directly related to this goal. In this work, we blend the fundamental concepts in online advertising and micro-economics into personalized recommendation for profit maximization. Specifically, we propose value-aware recommendation based on reinforcement learning, which directly optimizes the economic value of candidate items to generate the recommendation list. In particular, we generalize the basic concept of click conversion rate (CVR) in computational advertising into the conversation rate of an arbitrary user action (XVR) in E-commerce, where the user actions can be clicking, adding to cart, adding to wishlist, etc. In this way, each type of user action is mapped to its monetized economic value. Economic values of different user actions are further integrated as the reward of a ranking list, and reinforcement learning is used to optimize the recommendation list for the maximum total value. Experimental results in both offline benchmarks and online commercial systems verified the improved performance of our framework, in terms of both traditional top-$k$ ranking tasks and the economic profits of the system.

研究动机与目标

• 直接优化电子商务推荐系统的利润，超越传统的RMSE或MAP等指标。
• 解决推荐准确度提升与实际系统盈利能力之间的差距，特别是在高点击率但低利润率的商品场景下。
• 开发一个统一框架，将多种用户行为（如点击、加入购物车、购买）映射到其对应的经济价值，以实现利润驱动的排序。
• 通过离线基准测试和大规模真实电子商务环境中的在线A/B测试，验证该方法的有效性。

提出的方法

• 将广告领域中点击转化率（CVR）的概念泛化为XVR（任意用户行为的转化率），使点击、加入购物车或购买等行为均可实现货币化。
• 基于历史行为日志为每项用户行为分配货币价值，反映其对预期利润的贡献（例如：购买=高价值，点击=低价值）。
• 通过聚合推荐列表中各项货币化行为的总和，构建统一的奖励函数，表示总预期利润。
• 采用深度强化学习（基于PPO）训练策略网络，以最大化累积预期利润。
• 使用从真实电子商务日志中提取的基准数据集进行模型的离线训练与评估。
• 在日均点击量超过2亿的生产系统上部署在线A/B测试，验证在真实用户流量下的性能表现。

实验结果

研究问题

• RQ1 推荐系统能否被训练为直接最大化利润，而非传统的排序准确度？
• RQ2 如何将不同用户行为（如点击、加入购物车、购买）映射到其对应的经济价值，以实现利润优化？
• RQ3 将CVR泛化为XVR（任意行为的转化率）是否能实现比标准排序指标更好的利润驱动排序？
• RQ4 基于价值的奖励函数结合强化学习，在多大程度上能同时提升排序质量与系统级经济表现？
• RQ5 所提出的方法能否在真实世界在线部署中实现统计显著且具有业务意义的改进？

主要发现

• 基于价值的强化学习模型在在线A/B测试中相较基于DNN的端到端排序基线，实现了6.8%的相对GMV提升。
• 在线CTR提升了0.3%，item-level purchase volume（IPV）提升了0.4%，两者均具有统计显著性（p < 0.005）。
• 在离线评估中，该模型在标准化预期GMV上优于基于DNN的LTR基线7.3%，在R’_page（一种基于价值的指标）上提升6.0%。
• 在价值模型中纳入“加入购物车”和“加入收藏”等行为，使预期GMV提升3.1%，MAP最高提升6.6%。
• 与基于DNN的LTR基线相比，该模型在精确率上提升2.5%，召回率提升2.4%，MAP提升0.7%，表明排序质量更优。
• 结果表明，直接优化利润可带来更好的业务成果，即使未显式优化传统指标。