[论文解读] SetRank: Learning a Permutation-Invariant Ranking Model for Information Retrieval

Liang Pang, Jun Xu+4 more|arXiv (Cornell University)|Dec 12, 2019

Data Management and Algorithms参考文献 39被引用 15

一句话总结

SetRank 是一种排列不变的神经排序模型，通过堆叠的多头自注意力模块联合嵌入文档集合，并学习用于信息检索的多变量评分函数。它通过捕捉文档间的交互作用，在保持对输入顺序和大小变化鲁棒性的同时，优于传统和最先进学习排序模型。

ABSTRACT

In learning-to-rank for information retrieval, a ranking model is automatically learned from the data and then utilized to rank the sets of retrieved documents. Therefore, an ideal ranking model would be a mapping from a document set to a permutation on the set, and should satisfy two critical requirements: (1)~it should have the ability to model cross-document interactions so as to capture local context information in a query; (2)~it should be permutation-invariant, which means that any permutation of the inputted documents would not change the output ranking. Previous studies on learning-to-rank either design uni-variate scoring functions that score each document separately, and thus failed to model the cross-document interactions; or construct multivariate scoring functions that score documents sequentially, which inevitably sacrifice the permutation invariance requirement. In this paper, we propose a neural learning-to-rank model called SetRank which directly learns a permutation-invariant ranking model defined on document sets of any size. SetRank employs a stack of (induced) multi-head self attention blocks as its key component for learning the embeddings for all of the retrieved documents jointly. The self-attention mechanism not only helps SetRank to capture the local context information from cross-document interactions, but also to learn permutation-equivariant representations for the inputted documents, which therefore achieving a permutation-invariant ranking model. Experimental results on three large scale benchmarks showed that the SetRank significantly outperformed the baselines include the traditional learning-to-rank models and state-of-the-art Neural IR models.

研究动机与目标

• 解决传统学习排序模型独立评分文档且无法建模文档间交互作用的局限性。
• 克服依赖初始文档排序的序列多变量模型对排列敏感的问题。
• 开发一种对输入文档排列不变的排序模型，同时捕捉文档交互的局部上下文信息。
• 实现将多个初始排序作为输入特征以提升排序准确率。
• 在不同文档集合大小和噪声初始排序下实现稳健的性能表现。

提出的方法

• 使用（诱导的）多头自注意力模块堆叠，联合学习集合中所有文档的上下文嵌入。
• 利用自注意力机制生成排列等变表示，确保最终排序输出的排列不变性。
• 应用逐行全连接网络，从最终自注意力输出表示生成排序分数。
• 引入序数嵌入以编码零个、一个或多个初始排序作为输入特征。
• 使用诱导注意力机制（IMSAB）将可变大小的文档集合映射到固定数量的聚类中心，提升在集合大小上的泛化能力。
• 端到端训练模型，使用标注的相关性数据优化 NDCG 等排序指标。

实验结果

研究问题

• RQ1 神经排序模型能否在有效建模文档间交互作用的同时实现排列不变性？
• RQ2 SetRank 在不同基准测试中与传统学习排序模型及最先进神经 IR 模型相比表现如何？
• RQ3 将多个初始排序纳入模型在多大程度上能提升 SetRank 的排序准确率？
• RQ4 SetRank 在推理过程中对文档集合大小变化的鲁棒性如何，特别是在训练集与测试集大小不一致时？
• RQ5 与标准多头注意力相比，使用诱导多头自注意力（IMSAB）是否能降低对输入大小的敏感性？

主要发现

• SetRank 在三个大规模基准测试中显著优于基线模型，包括 LambdaMART、深度学习排序（DLCM）及其他神经 IR 模型。
• 在 TREC Web Track 2014 数据集上，SetRank 的 NDCG@10 达到 0.6737，领先第二名模型 0.0105 分。
• 当在 40 篇文档集合上训练并在 240 篇文档集合上测试时，SetRank IMSAB 的 NDCG@10 仅下降 0.0049，而 DLCM ${}^{w/o ext{ }init}$ 下降 0.0334，表明其对集合大小变化具有更强的鲁棒性。
• 与无初始排序的版本相比，引入单一初始排序（如来自 LambdaMART）使 SetRank 性能提升，NDCG@10 从 0.6737 提升至 0.6834。
• 使用四个初始排序相比一个仅带来微小提升，表明高质量初始排序（如 LambdaMART）主导了信号，额外排序带来的增益有限。
• SetRank IMSAB 对测试集大小的敏感性显著低于 SetRank MSAB，当文档数从 40 增至 240 时，性能下降分别为 0.0164 和 0.0049（NDCG@10），表明诱导注意力机制增强了泛化能力。