[论文解读] Unbiased Learning to Rank: Online or Offline?

Qingyao Ai, Tao Yang+2 more|arXiv (Cornell University)|Apr 28, 2020

Information Retrieval and Search Behavior参考文献 61被引用 8

一句话总结

本文通过表明反事实学习与上下文老虎机学习算法——尽管分别发展而来——均从不同理论视角解决同一基础问题，统一了离线与在线无偏学习排序（ULTR）。该研究在合成数据与真实世界数据上评估了八种最先进的ULTR算法，表明许多算法可仅通过微小修改在离线与在线设置间适配，并发现由于其在离线学习中对无偏模型收敛的理论保证，DLA表现最佳。

ABSTRACT

How to obtain an unbiased ranking model by learning to rank with biased user feedback is an important research question for IR. Existing work on unbiased learning to rank (ULTR) can be broadly categorized into two groups -- the studies on unbiased learning algorithms with logged data, namely the extit{offline} unbiased learning, and the studies on unbiased parameters estimation with real-time user interactions, namely the extit{online} learning to rank. While their definitions of extit{unbiasness} are different, these two types of ULTR algorithms share the same goal -- to find the best models that rank documents based on their intrinsic relevance or utility. However, most studies on offline and online unbiased learning to rank are carried in parallel without detailed comparisons on their background theories and empirical performance. In this paper, we formalize the task of unbiased learning to rank and show that existing algorithms for offline unbiased learning and online learning to rank are just the two sides of the same coin. We evaluate six state-of-the-art ULTR algorithms and find that most of them can be used in both offline settings and online environments with or without minor modifications. Further, we analyze how different offline and online learning paradigms would affect the theoretical foundation and empirical effectiveness of each algorithm on both synthetic and real search data. Our findings could provide important insights and guideline for choosing and deploying ULTR algorithms in practice.

研究动机与目标

• 通过建立理论与实证联系，解决离线与在线无偏学习排序（ULTR）研究长期分离的问题。
• 探究离线与在线ULTR算法在理论与性能上是否本质不同，或仅为同一问题的两个方面。
• 在合成数据与真实世界搜索数据集上，评估八种最先进的ULTR算法的鲁棒性与有效性。
• 基于理论特性与不同学习范式下的实证表现，为ULTR算法的选择与部署提供实用指导。

提出的方法

• 构建统一的数学框架以形式化无偏学习排序，实现离线与在线方法的直接比较。
• 将ULTR算法划分为两类：反事实学习（如DLA、REM）与上下文老虎机学习（如PDGD、PairD），分析其理论基础。
• 在合成数据与真实世界的Tiangong数据集上，通过10次重复运行，实证评估八种最先进的ULTR算法，以衡量其鲁棒性与性能。
• 使用标准信息检索指标（如nDCG@1、ERR@1、nDCG@3等）比较不同学习范式与数据分布下的模型表现。
• 分析结果展示分布与点击偏差方差对算法无偏性与收敛性的影响，涵盖离线与在线设置。
• 通过理论分析表明，反事实学习对结果展示分布具有不变性，而上下文老虎机学习对点击偏差方差更具鲁棒性。

实验结果

研究问题

• RQ1 RQ1：为离线学习与在线学习提出的无偏学习排序算法在理论上存在哪些差异与联系？
• RQ2 RQ2：学习范式（离线 vs. 在线）如何影响无偏学习排序算法的理论基础与实证有效性？
• RQ3 RQ3：现有离线ULTR算法能否在无需重大修改的情况下有效适配至在线学习设置，反之亦然？
• RQ4 RQ4：算法特性（如对结果展示分布的不变性与对点击偏差方差的鲁棒性）如何影响其在真实世界部署中的适用性？

主要发现

• 由于其在离线学习中对无偏排序模型收敛的理论保证，DLA在所有数据集（包括Tiangong数据集）上均取得最佳实证性能。
• 在Tiangong数据集上，NA（基于点击数据训练的朴素模型）表现具有竞争力，表明优化原始生产排序系统已能产出强大结果，这得益于生产系统中丰富的特征表示。
• REM在Tiangong数据集上表现最差，可能因其依赖Sigmoid点对点损失函数且特征表达能力有限，凸显在稀疏特征集上使用简单损失函数的风险。
• PairD在Tiangong数据集上表现良好，并在多个指标上优于NA，表明其即使缺乏理论保证，也能有效缓解点击偏差。
• PDGD在合成数据与真实数据上均表现强劲，表明即使理论保证不够明确，基于在线梯度的方法仍可有效。
• 理论特性如对结果展示分布的不变性（反事实学习中）与对点击偏差方差的鲁棒性（上下文老虎机学习中）显著影响算法在不同部署场景下的适用性。