[论文解读] Online Learning to Rank with Feedback at the Top

Sougata Chaudhuri, Ambuj Tewari|arXiv (Cornell University)|Mar 6, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用 4

一句话总结

本文提出了一种在线学习排序算法，在仅能获取排序列表中前-k个文档相关性信息的极度受限反馈环境下，仍能通过凸代理损失实现优异性能。该文建立了凸代理损失的 O(T^{2/3}) 损失界，并证明了对于 NDCG 校准的损失，任何在线算法都无法在仅反馈 top-1 的情况下实现次线性损失，揭示了此类反馈在排序任务中的根本性局限。

ABSTRACT

We consider an online learning to rank setting in which, at each round, an oblivious adversary generates a list of $m$ documents, pertaining to a query, and the learner produces scores to rank the documents. The adversary then generates a relevance vector and the learner updates its ranker according to the feedback received. We consider the setting where the feedback is restricted to be the relevance levels of only the top $k$ documents in the ranked list for $k \ll m$. However, the performance of learner is judged based on the unrevealed full relevance vectors, using an appropriate learning to rank loss function. We develop efficient algorithms for well known losses in the pointwise, pairwise and listwise families. We also prove that no online algorithm can have sublinear regret, with top-1 feedback, for any loss that is calibrated with respect to NDCG. We apply our algorithms on benchmark datasets demonstrating efficient online learning of a ranking function from highly restricted feedback.

研究动机与目标

• 为解决仅能每查询获取前-k个文档相关性评分的极度受限反馈环境下的排序函数学习挑战。
• 设计一种高效的在线算法，在前-k反馈下最小化代理排序损失（如平方损失、合页损失、交叉熵损失）。
• 确定每类代理损失实现有效学习所需的最小反馈量（即 k）。
• 通过理论证明，表明对于 NDCG 校准的代理损失，任何在线算法都无法在 top-1 反馈下实现次线性损失，揭示理论极限。
• 在基准数据集（Yahoo、Yandex）上对所提方法进行实证验证，对比全反馈与随机基线。

提出的方法

• 该算法将问题建模为学习者与一个盲从对手之间的在线博弈，学习者对文档进行排序，仅接收前-k个相关性反馈。
• 采用基于从前-k反馈中估计的梯度构建的通用在线优化框架，通过梯度更新实现优化。
• 对于凸代理损失（平方损失、合页损失、交叉熵），方法采用投影在线梯度下降，学习率设为 η = O(T^{-2/3})，探索参数设为 γ = O(T^{-1/3})。
• 梯度估计器仅基于前-k个相关性值构建，使得在部分反馈下仍能实现高效更新。
• 对于非凸的 SmoothDCG 代理损失，方法采用固定平滑参数 ε = 0.01 的在线优化，但收敛性较差。
• 理论分析揭示了代理损失结构与反馈机制之间的关联，证明了 NDCG 校准的代理损失无法在 top-1 反馈下实现次线性损失。

实验结果

研究问题

• RQ1 当每查询仅能获取前-k个文档相关性水平时，能否有效实现在线学习排序？
• RQ2 对于给定的代理损失，确保收敛与低损失所需的最小反馈量（即 k）是多少？
• RQ3 能否为广泛使用的凸代理损失（如平方损失、合页损失、交叉熵损失）设计高效的在线算法，适用于前-k反馈？
• RQ4 能否在 top-1 反馈下实现 NDCG 校准代理损失的次线性损失？
• RQ5 所提算法在实际中与全反馈和随机基线相比表现如何？

主要发现

• 所提算法在凸代理损失（平方损失、合页损失、交叉熵损失）下，于前-k反馈环境中实现了 O(T^{2/3}) 的损失界，证明了理论收敛性。
• 在 Yahoo 数据集上，使用 RankSVM 代理损失（采用 top-2 反馈）的算法在平均 NDCG@10 指标上几乎与全反馈的 ListNet 相当。
• 采用 KL（交叉熵）代理损失的算法优于平方损失代理，且两者均显著优于随机基线，即使在高度受限的反馈条件下。
• 采用非凸 SmoothDCG 代理损失的算法表现较差，可能由于非凸优化中缺乏退火机制而陷入局部极小值。
• 不可能性结果证明，对于任意 NDCG 校准的代理损失，任何在线算法都无法在 top-1 反馈下实现次线性损失，确立了根本性限制。
• 实证结果表明，即使仅使用 top-1 或 top-2 反馈，该算法仍能实现与全反馈学习相当的竞争力表现，验证了其实际有效性。