[论文解读] Simple, Robust and Optimal Ranking from Pairwise Comparisons

Nihar B. Shah, Martin J. Wainwright|arXiv (Cornell University)|Dec 30, 2015

Data Management and Algorithms参考文献 41被引用 72

一句话总结

本文提出了一种Copeland计数算法——一种简单、稳健且最优的从成对比较中进行排序的方法。该方法通过统计每项在比较中的胜场数进行排序，在无需参数假设的情况下实现信息论最优性，并在各种数据分布下均优于以往方法，在速度和精度方面表现更优。

ABSTRACT

We consider data in the form of pairwise comparisons of n items, with the goal of precisely identifying the top k items for some value of k < n, or alternatively, recovering a ranking of all the items. We analyze the Copeland counting algorithm that ranks the items in order of the number of pairwise comparisons won, and show it has three attractive features: (a) its computational efficiency leads to speed-ups of several orders of magnitude in computation time as compared to prior work; (b) it is robust in that theoretical guarantees impose no conditions on the underlying matrix of pairwise-comparison probabilities, in contrast to some prior work that applies only to the BTL parametric model; and (c) it is an optimal method up to constant factors, meaning that it achieves the information-theoretic limits for recovering the top k-subset. We extend our results to obtain sharp guarantees for approximate recovery under the Hamming distortion metric, and more generally, to any arbitrary error requirement that satisfies a simple and natural monotonicity condition.

研究动机与目标

• 开发一种排名方法，能够在对数据生成过程假设最少的情况下，从噪声成对比较中识别出top-k项。
• 在一般成对比较模型下，为top-k项的精确和近似恢复建立理论保证。
• 证明一种简单的计数方法可在无需参数模型（如BTL模型）的前提下实现信息论最优性。
• 表明该方法在各种数据分布（包括先前方法失效的非BTL设置）下均具有计算高效性和鲁棒性。
• 将理论边界扩展至满足单调性条件的任意误差度量，包括汉明失真和任意恢复要求。

提出的方法

• Copeland计数算法根据每项在成对比较中获胜的次数进行排序，通过统计每项的胜场数实现。
• 理论分析利用两个比较矩阵之间的新颖耦合论证，推导出可靠恢复所需样本复杂度的下界。
• 该方法在无参数或随机传递性假设的一般模型下进行分析，仅依赖于成对比较概率。
• 关键技术组件是引理4，其界定了由轻微扰动的比较矩阵所诱导的两个概率测度之间的总变差距离。
• 分析表明，Copeland方法在常数因子范围内达到最优样本复杂度，与信息论下界一致。
• 该框架可推广至满足单调性条件的任意误差度量，从而为汉明失真及其他恢复标准提供边界。

实验结果

研究问题

• RQ1 一种简单的基于计数的方法是否能在无参数假设的情况下，实现从成对比较中top-k排序的最优性能？
• RQ2 当数据不符合BTL模型时，Copeland计数算法在样本复杂度和鲁棒性方面表现如何？
• RQ3 在一般成对比较模型下，top-k项的精确和近似恢复的信息论极限是什么？
• RQ4 能否将top-k恢复的理论保证扩展至汉明失真等一般误差度量？
• RQ5 在实际中，Copeland方法的计算效率与谱方法和参数化方法相比如何？

主要发现

• Copeland计数算法在常数因子范围内实现了top-k恢复的信息论最优性，与本文推导的下界一致。
• 该算法具有鲁棒性，对底层成对比较概率无任何假设，无需满足随机传递性或BTL模型要求。
• 该方法在准确率和计算时间上均优于Spectral MLE等先前方法，尤其在数据偏离参数模型时表现更优。
• 实验评估显示，Copeland方法的运行速度比先前算法快几个数量级，同时保持或提升了准确率。
• 理论保证可扩展至汉明失真下的近似恢复，以及任何满足自然单调性条件的误差度量。
• 通过引理4的新型耦合论证，证明在某些扰动下，任何估计器都无法可靠恢复top-k集合，从而验证了所推导边界的紧致性。