[论文解读] Validation Set Evaluation can be Wrong: An Evaluator-Generator Approach for Maximizing Online Performance of Ranking in E-commerce

Guangda Huzhang, Zhen-Jia Pang+5 more|arXiv (Cornell University)|Mar 25, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 30被引用 5

一句话总结

本文提出了一种评估器-生成器框架，以提升电商排序学习系统中离线评估的可靠性。通过在离线数据上训练评估器以模拟在线表现，并利用强化学习使用该评估器指导生成器，该方法实现了更贴近实际在线表现的验证分数，进而在速卖通搜索中实现了转化率和GMV提升2%以上。

ABSTRACT

Learning-to-rank (LTR) has become a key technology in E-commerce applications. Most existing LTR approaches follow a supervised learning paradigm, relying on labeled data collected from a specific online system. However, the online performance of the models may be inconsistent with that observed in offline evaluation. This inconsistency is serious: even if we successfully reproduce the offline performance of a newly proposed model, it may perform poorly when deployed in online systems. Interacting with online systems is an accurate albeit costly way of evaluation as the process may hurt user experience. To avoid the inaccuracy of offline evaluation and the cost of the online interaction-based evaluation, we propose an evaluator-generator framework. Firstly, we train an evaluator model as an approximation of online systems with offline data. Secondly, we learn a generator with supervision from the evaluator, which can approximate the maximal online performance through reinforcement learning. Through extensive experience, we show that the classic data-based metrics on the validation set can be inconsistent with online performance, and can even be misleading. We also demonstrate that the proposed evaluator score is significantly more robust than common ranking metrics: classic metrics do not match the actual performance in both an offline simulated environment and a real online system while our evaluator score matches them well. Finally, we show that our method achieves a significant improvement of ($ extgreater2\%$) over the current industrial-level pair-wise model in terms of both Conversion Rate (CR) and Gross Merchandise Volume (GMV) in online A/B tests on AliExpress Search. Roughly, it contributes more than 300 millions dollars to GMV per year in the common daily selling.

研究动机与目标

• 解决电商排序学习系统中离线验证性能与实际在线排序性能之间不一致的问题。
• 通过提升离线评估的准确性，减少对昂贵且具有风险的在线A/B测试的依赖。
• 开发一种仅使用离线数据和强化学习即可预测最大在线性能的方法。
• 证明传统离线指标在评估排序模型时可能具有误导性。
• 通过模拟离线环境和速卖通搜索的真实在线A/B测试，验证所提方法的有效性。

提出的方法

• 使用离线标注数据训练评估器模型，以近似真实在线系统的行为。
• 将训练好的评估器作为强化学习框架中的奖励信号，用于训练生成器模型。
• 生成器被优化以生成最大化评估器预测的在线性能的排序策略。
• 评估器得分作为在线性能的代理指标，实现可靠的离线模型选择。
• 采用成对学习排序模型作为离线和在线评估中的基线模型。
• 将生成器应用于生成最终排序模型，并通过在真实速卖通搜索系统上的A/B测试进行评估。

实验结果

研究问题

• RQ1 在电商排序系统中，传统离线排序指标在验证集上是否能可靠预测在线性能？
• RQ2 所提出的评估器-生成器框架在多大程度上提升了离线评估与实际在线性能之间的对齐程度？
• RQ3 评估器得分与NDCG或MAP等标准指标相比，在预测现实在线结果方面表现如何？
• RQ4 所提方法是否能在真实在线部署中实现转化率和GMV等关键业务指标的显著提升？
• RQ5 评估器得分在模拟离线环境和真实在线系统中是否均具有鲁棒性？

主要发现

• 发现经典离线指标（如验证集上的NDCG和MAP）与实际在线表现不一致，可能具有误导性。
• 所提评估器得分与模拟离线环境和真实在线系统结果均表现出强一致性，其鲁棒性显著优于标准指标。
• 在速卖通搜索的真实在线A/B测试中，该方法在转化率和商品交易总额（GMV）上均实现了统计显著的2%以上提升。
• 基于日均销售量估算，该方法对GMV的年贡献超过3亿美金。
• 评估器-生成器框架成功仅通过离线数据和强化学习近似了最大可实现的在线性能。
• 结果证实，使用传统指标进行离线评估可能无法准确预测真实在线成功，而所提评估器得分提供了一个可靠的替代方案。