[论文解读] Online Learning to Rank with Top-k Feedback

Sougata Chaudhuri, Ambuj Tewari|arXiv (Cornell University)|Aug 23, 2016

Advanced Bandit Algorithms Research参考文献 25被引用 4

一句话总结

本文提出了一种在线学习排序算法，其在高度受限的反馈环境下运行——仅能观测到排名前k位项目的相关性分数，但仍能实现次线性遗憾。该文为非上下文和上下文设置分别提出了高效策略，证明了对流行排序度量及其代理度量的O(T^{2/3})遗憾，同时在仅提供top-1反馈时建立了不可能性结果。

ABSTRACT

We consider two settings of online learning to rank where feedback is restricted to top ranked items. The problem is cast as an online game between a learner and sequence of users, over $T$ rounds. In both settings, the learners objective is to present ranked list of items to the users. The learner's performance is judged on the entire ranked list and true relevances of the items. However, the learner receives highly restricted feedback at end of each round, in form of relevances of only the top $k$ ranked items, where $k \ll m$. The first setting is \emph{non-contextual}, where the list of items to be ranked is fixed. The second setting is \emph{contextual}, where lists of items vary, in form of traditional query-document lists. No stochastic assumption is made on the generation process of relevances of items and contexts. We provide efficient ranking strategies for both the settings. The strategies achieve $O(T^{2/3})$ regret, where regret is based on popular ranking measures in first setting and ranking surrogates in second setting. We also provide impossibility results for certain ranking measures and a certain class of surrogates, when feedback is restricted to the top ranked item, i.e. $k=1$. We empirically demonstrate the performance of our algorithms on simulated and real world datasets.

研究动机与目标

• 解决仅能观测到排名前k位项目相关性而非完整相关性向量时的在线学习排序挑战。
• 在该受限反馈模型下，为非上下文和上下文设置开发实现次线性遗憾的高效排序策略。
• 研究在top-k反馈下NDCG、AP和DCG等排序度量的可学习性，尤其关注反馈仅限于k=1的情况。
• 在top-1反馈下，为某些排序度量及其代理度量提供理论上的不可能性结果，揭示其根本局限性。
• 在模拟和真实数据集上对所提算法进行实证验证，并与全信息基线进行性能比较。

提出的方法

• 本文将问题形式化为在T轮内，学习者与用户之间的在线博弈，学习者对m个项目进行排序，并仅能从排名前k个项目中获得反馈。
• 提出一种通用算法（算法1），以Follow-the-Regularized-Leader（FTRL）作为子程序，基于来自top-k反馈的估计梯度来更新排序函数。
• 在上下文设置中，该方法采用凸代理度量（如RankSVM、KL散度、平方损失）来近似排序度量，并实现从部分反馈中估计梯度。
• 该方法引入一种新颖的梯度估计器，仅利用top-k相关性反馈即可构建完整梯度的无偏估计，从而支持在线更新。
• 理论分析在适当假设下建立了两种设置下的O(T^{2/3})遗憾，其证明框架基于在线凸优化。
• 该方法被扩展至非凸代理度量（如SmoothDCG），尽管由于局部极小值导致实证性能较差，凸显了在部分反馈下进行非凸优化的挑战。

实验结果

研究问题

• RQ1 当仅能观测到排名前k位项目的相关性时，是否能实现在线学习排序的次线性遗憾，其中k ≪ m？
• RQ2 在top-1反馈下，学习排序的根本限制是什么？哪些排序度量或代理度量在此设置下本质上不可学习？
• RQ3 在仅提供top-k反馈时，不同凸与非凸代理度量在实践中表现如何，其性能差异的成因是什么？
• RQ4 能否从top-k反馈中实现无偏梯度估计，以支持排序函数的有效在线优化？
• RQ5 当反馈限制在k > 1时，NDCG和AP等流行排序度量的最小最大遗憾率是多少？

主要发现

• 所提算法在top-k反馈下，对非上下文和上下文设置均实现了O(T^{2/3})遗憾。
• 当k=1时，本文证明了不可能性结果：对于NDCG和AP，或任何NDCG校准的代理度量，均无法实现次线性遗憾。
• 在Yahoo和Yandex数据集上，使用RankSVM和KL代理度量的算法性能几乎与使用全反馈的ListNet相当，展现出强大的实证竞争力。
• 基于RankSVM的算法表现更优，因其在top-2反馈下梯度估计方差更低；而KL代理度量方法优于基于平方损失的方法。
• 尽管SmoothDCG代理度量为非凸，但其仍能从top-k反馈中实现无偏梯度估计，然而由于在线优化中陷入局部极小值，导致实证性能较差。
• 该算法显著优于随机基线，并在仅使用top-1或top-2反馈时接近全信息性能，验证了其实际可行性。