[论文解读] Where to Go on Your Next Trip? Optimizing Travel Destinations Based on User Preferences

Julia Kiseleva, Melanie J.I. Mueller+7 more|UvA-DARE (University of Amsterdam)|Jun 2, 2015

Recommender Systems and Techniques参考文献 13被引用 14

一句话总结

本文提出了一种基于朴素贝叶斯的排序模型，通过使用多准则用户推荐（例如：'海滩'、'夜生活'）而非传统评分，来优化Booking.com上的旅行目的地推荐。该方法利用用户过去的推荐记录预测目的地的相关性，在大规模A/B测试中，相较于生产基线，转化率显著提升了4.4%，且由于离线训练，线上计算成本极低。

ABSTRACT

Recommendation based on user preferences is a common task for e-commerce websites. New recommendation algorithms are often evaluated by offline comparison to baseline algorithms such as recommending random or the most popular items. Here, we investigate how these algorithms themselves perform and compare to the operational production system in large scale online experiments in a real-world application. Specifically, we focus on recommending travel destinations at Booking.com, a major online travel site, to users searching for their preferred vacation activities. To build ranking models we use multi-criteria rating data provided by previous users after their stay at a destination. We implement three methods and compare them to the current baseline in Booking.com: random, most popular, and Naive Bayes. Our general conclusion is that, in an online A/B test with live users, our Naive-Bayes based ranker increased user engagement significantly over the current online system.

研究动机与目标

• 通过利用多准则用户推荐而非传统单一评分，提升旅行目的地推荐中的用户参与度。
• 在真实在线环境中，评估并比较三种排序方法（随机、基于流行度、朴素贝叶斯）与现有生产基线的性能。
• 评估一种简单但可扩展的推荐模型在大规模工业应用中对转化率的影响。
• 证明离线训练的轻量级模型可在真实世界参与度指标中显著优于现有系统。

提出的方法

• 作者使用过去用户提供的多准则推荐数据，其中每个推荐表示某个目的地的积极属性（例如：'海滩'）。
• 在离线环境中训练朴素贝叶斯分类器，以基于用户期望活动列表预测目的地被偏好的概率。
• 通过从历史推荐模式中提取的条件概率，计算给定用户偏好活动时各目的地的可能性。
• 通过朴素贝叶斯模型预测的相关性得分对目的地进行排序。
• 使用在线A/B测试评估模型对真实用户行为的影响，转化率作为主要指标。
• 系统设计旨在最小化线上推理成本，大部分计算在离线完成，确保生产环境中响应时间低于1秒。

实验结果

研究问题

• RQ1 一个简单且离线训练的朴素贝叶斯模型是否能在真实世界的旅行目的地推荐中超越当前的生产基线？
• RQ2 与随机或基于流行度的排序相比，多准则推荐数据在提升用户参与度方面表现如何？
• RQ3 轻量级模型在不增加线上计算开销的前提下，能在多大程度上提升转化率？
• RQ4 通过基于活动的推荐来利用用户偏好，是否能带来可测量的用户互动改善？

主要发现

• 与生产基线相比，朴素贝叶斯排序器使转化率提升了4.4%，G检验p值为93%，表明具有统计显著性。
• 生产基线显著优于随机排序，且略好于基于流行度的排序，但差异不显著。
• 朴素贝叶斯模型在对线上CPU和内存使用影响极小的情况下实现性能提升，确保了在生产环境中的可扩展性。
• 结果表明，即使没有总体评分或显式反馈，多准则推荐数据也能有效建模用户偏好。
• 该方法的简洁性和可扩展性使其非常适用于具有实时性能约束的大规模工业应用。