[论文解读] SortNet: Learning To Rank By a Neural-Based Sorting Algorithm

Leonardo Rigutini, Tiziano Papini+2 more|arXiv (Cornell University)|Nov 3, 2023

Multi-Criteria Decision Making被引用 12

一句话总结

SortNet 将一个神经网络训练为成对比较器以对对象进行排序，并将其整合到排序过程，使用一种增量式、类似主动学习的程序来选择信息丰富的对，并在 LETOR TD2003/TD2004 数据集上进行评估，取得具有竞争力的结果，特别是在 TD2004。

ABSTRACT

The problem of relevance ranking consists of sorting a set of objects with respect to a given criterion. Since users may prefer different relevance criteria, the ranking algorithms should be adaptable to the user needs. Two main approaches exist in literature for the task of learning to rank: 1) a score function, learned by examples, which evaluates the properties of each object yielding an absolute relevance value that can be used to order the objects or 2) a pairwise approach, where a "preference function" is learned using pairs of objects to define which one has to be ranked first. In this paper, we present SortNet, an adaptive ranking algorithm which orders objects using a neural network as a comparator. The neural network training set provides examples of the desired ordering between pairs of items and it is constructed by an iterative procedure which, at each iteration, adds the most informative training examples. Moreover, the comparator adopts a connectionist architecture that is particularly suited for implementing a preference function. We also prove that such an architecture has the universal approximation property and can implement a wide class of functions. Finally, the proposed algorithm is evaluated on the LETOR dataset showing promising performances in comparison with other state of the art algorithms.

研究动机与目标

• 推动学习排序，使用户偏好决定排序顺序，而非绝对分数。
• 开发基于神经网络的比较器，能够在对称性约束下学习成对偏好。
• 提出一种增量式训练程序，以有选择地添加信息丰富的训练对来提高排序质量。
• 在 LETOR TD2003/TD2004 基准上演示该方法，并与最先进的方法进行比较。

提出的方法

• 引入一个具有两个输出 N_succ 和 N_prec 的神经比较器 N，输入为两个对象 x 和 y 的拼接。
• 通过在隐藏单元和输出之间的对称权重共享架构，强制对称性，使 N_succ(x,y) = N_prec(y,x)。
• 证明权重共享比较器在约束的函数类内保持通用近似性质。
• 通过梯度下降对比较器进行训练，使用成对目标 [1 0] 对 x succ y，使用 [0 1] 对 x pref y，最小化平方误差目标。
• 将比较器嵌入排序算法以产生期望时间复杂度为 O(n log n) 的排序结果。
• 采用迭代的增量学习程序，在每次迭代中对训练/验证集进行排序，收集分类错误的对，并增强训练数据以提高排序质量（类似主动学习）。
• 在验证数据上使用 RankQuality 指标（MAP、P@k、NDCG）在多次迭代中选择最佳模型。

实验结果

研究问题

• RQ1 基于神经网络的比较器是否能够为排序任务学习出可靠的成对偏好函数？
• RQ2 通过权重共享引入对称性是否能够在受限的排序函数类中实现通用逼近？
• RQ3 一种选择性添加信息丰富对的增量训练策略是否能在标准 LETOR 基准上提升排序质量？
• RQ4 SortNet 与 LETOR TD2003/TD2004 数据集上的既定学习排序方法相比如何？

主要发现

• SortNet 在 TD2003 使用 10 个隐藏单元，在 TD2004 使用 20 个隐藏单元，与 AdaRank、RankBoost、RankSVM、FRank 和 ListNet 相比，显示出具竞争力的 MAP 与 P@10 结果。
• 在 TD2004 数据集上，SortNet 明显优于所报道的指标（NDCG@1..10、MAP、P@10）中的竞争方法。
• 在 TD2003 数据集上，SortNet 的结果与 AdaRank 和 RankBoost 相当，且由于验证集和测试集之间的数据分布差异，结果有一定波动。
• 增量训练过程往往在达到最大迭代次数之前收敛，表明对信息丰富的训练对进行了有效选择。