[论文解读] Predicting Preference Flips in Commerce Search

Or Sheffet, Nina Mishra+1 more|arXiv (Cornell University)|Jun 27, 2012

Information Retrieval and Search Behavior参考文献 21被引用 5

一句话总结

本文提出了随机购物者模型（Random Shopper Model），这是一种新颖的排序框架，通过将特征建模为项目之间的马尔可夫链，捕捉电商搜索中的偏好翻转现象，实现基于上下文的动态偏好排序。该模型通过经验风险最小化进行学习，在电商搜索日志上表现优于传统的基于评分的方法（如回归和列表式排序）。

ABSTRACT

Traditional approaches to ranking in web search follow the paradigm of rank-by-score: a learned function gives each query-URL combination an absolute score and URLs are ranked according to this score. This paradigm ensures that if the score of one URL is better than another then one will always be ranked higher than the other. Scoring contradicts prior work in behavioral economics that showed that users' preferences between two items depend not only on the items but also on the presented alternatives. Thus, for the same query, users' preference between items A and B depends on the presence/absence of item C. We propose a new model of ranking, the Random Shopper Model, that allows and explains such behavior. In this model, each feature is viewed as a Markov chain over the items to be ranked, and the goal is to find a weighting of the features that best reflects their importance. We show that our model can be learned under the empirical risk minimization framework, and give an efficient learning algorithm. Experiments on commerce search logs demonstrate that our algorithm outperforms scoring-based approaches including regression and listwise ranking.

研究动机与目标

• 解决传统基于评分排序模型的局限性，即假设偏好固定不变，与上下文无关。
• 通过概率框架建模用户偏好翻转——即项目A与B之间的排名顺序因项目C的存在而改变。
• 开发一种可学习的排序模型，反映行为经济学中观察到的上下文相关偏好动态。
• 通过捕捉非传递性和上下文依赖的用户偏好，提升电商搜索排序效果。
• 证明所提出模型在性能上优于传统的基于评分的学习排序方法。

提出的方法

• 随机购物者模型将每个特征视为待排序项目集合上的马尔可夫链，建模从一个项目到另一个项目的转移概率。
• 模型学习最佳反映各特征在影响用户偏好排序中重要性的特征权重。
• 将排序问题表述为经验风险最小化，以优化与搜索日志中观察到的偏好翻转的一致性。
• 开发了一种高效的算法，用于在所提出的框架下求解优化问题。
• 通过允许项目之间的相对排序依赖于所呈现的完整备选项集合，捕捉非传递偏好。
• 在真实电商搜索日志上训练该框架，以学习能预测偏好翻转的特征权重。

实验结果

研究问题

• RQ1 排序模型能否捕捉到两个项目之间的相对排名因第三个项目的存在而发生变化的偏好翻转现象？
• RQ2 如何设计一种机器学习模型，以反映行为经济学中观察到的上下文依赖用户偏好？
• RQ3 基于马尔可夫链的特征模型在电商搜索中，相较于传统基于评分的排序模型，能多大程度上实现性能超越？
• RQ4 学习能反映搜索结果中动态偏好排序的特征权重的最优方式是什么？
• RQ5 在真实世界电商数据上，所提出的模型与回归和列表式排序基线相比，在排序准确性方面表现如何？

主要发现

• 随机购物者模型成功捕捉了电商搜索中的偏好翻转现象，即用户对项目A与B的偏好依赖于项目C的存在。
• 该模型在真实电商搜索日志上优于传统的基于评分的方法，如回归和列表式排序。
• 在所提框架下采用经验风险最小化，可有效学习反映上下文重要性的特征权重。
• 马尔可夫链的表述形式支持动态、上下文敏感的排序，准确反映非传递偏好。
• 学习算法高效且可扩展，使该模型在大规模电商搜索应用中具有实用性。
• 实验表明，该模型在排序准确性上优于基线模型，尤其在偏好翻转的情境下表现更优。