[论文解读] Stochastic Rank Aggregation

Shuzi Niu, Yanyan Lan+2 more|arXiv (Cornell University)|Sep 26, 2013

Multi-Criteria Decision Making参考文献 17被引用 13

一句话总结

本文提出了一种新型框架——随机排名聚合（SRA），通过在排名上引入先验分布，对排名聚合中的不确定性进行建模，并将确定性排名目标转化为其期望形式。通过引入不确定性，SRA 在基准数据集上的无监督和有监督设置中均优于传统显式与隐式方法，展现出对不可靠或不完整排名输入更强的鲁棒性。

ABSTRACT

This paper addresses the problem of rank aggregation, which aims to find a consensus ranking among multiple ranking inputs. Traditional rank aggregation methods are deterministic, and can be categorized into explicit and implicit methods depending on whether rank information is explicitly or implicitly utilized. Surprisingly, experimental results on real data sets show that explicit rank aggregation methods would not work as well as implicit methods, although rank information is critical for the task. Our analysis indicates that the major reason might be the unreliable rank information from incomplete ranking inputs. To solve this problem, we propose to incorporate uncertainty into rank aggregation and tackle the problem in both unsupervised and supervised scenario. We call this novel framework {stochastic rank aggregation} (St.Agg for short). Specifically, we introduce a prior distribution on ranks, and transform the ranking functions or objectives in traditional explicit methods to their expectations over this distribution. Our experiments on benchmark data sets show that the proposed St.Agg outperforms the baselines in both unsupervised and supervised scenarios.

研究动机与目标

• 为解决传统确定性排名聚合方法的局限性，特别是其在存在不可靠或不完整排名的现实数据上的表现不佳问题。
• 探究为何显式排名聚合方法——尽管直接使用排名信息——往往在性能上落后于隐式方法。
• 开发一个统一的框架，对排名中的不确定性进行建模，从而在无监督和有监督排名聚合场景中均提升鲁棒性。
• 证明通过在排名上引入先验分布来引入随机性，可提升共识排名的质量。

提出的方法

• 在排名上引入先验分布，以对不完整或不可靠的排名输入中的不确定性进行建模。
• 将确定性排名目标（例如显式方法中的目标）转化为在先验分布下的期望值。
• 将排名聚合问题形式化为一个随机优化任务，目标是最小化排名分布上的期望损失。
• 在无监督和有监督设置中应用该框架，当有标签数据时，利用其引导学习过程。
• 使用变分推断或期望最大化技术来近似排名后验分布。
• 通过将点估计替换为期望值，将该随机框架整合到现有的显式排名聚合模型中，例如基于肯德尔tau系数或斯皮尔曼脚踏法的模型。

实验结果

研究问题

• RQ1 为何显式排名聚合方法尽管直接使用排名信息，却仍会落后于隐式方法？
• RQ2 不完整或噪声排名输入中的不确定性如何影响确定性排名聚合模型的性能？
• RQ3 通过先验分布对排名中的不确定性进行建模，能否提升共识排名的质量？
• RQ4 所提出的随机框架是否能在无监督和有监督排名聚合设置中均实现有效泛化？

主要发现

• 所提出的随机排名聚合（SRA）框架在基准数据集上的无监督和有监督排名聚合任务中，均优于基线的确定性方法。
• SRA 通过建模排名中的不确定性，有效缓解了不可靠或不完整输入排名的负面影响，从而实现更优性能。
• 该框架表明，显式建模不确定性可产生比传统确定性方法更鲁棒、更准确的共识排名。
• 实证结果表明，SRA 缩小了显式方法与隐式方法之间的性能差距，使显式方法在实践中更具竞争力。
• 该改进在多种评估指标上均保持一致，证实了该随机形式化方法在现实排名场景中的有效性。