[论文解读] Top-$K$ Ranking from Pairwise Comparisons: When Spectral Ranking is Optimal

Minje Jang, Sunghyun Kim+2 more|arXiv (Cornell University)|Mar 14, 2016

Game Theory and Voting Systems参考文献 29被引用 18

一句话总结

本文证明，在 Bradley-Terry-Luce 模型下，通过 Rank Centrality 进行谱排名可实现最优样本复杂度的 top-$K$ 排名。研究证明，在足够采样的随机比较模型中，仅使用谱方法——无需额外的最大似然优化——即可最优地识别出 top-$K$ 项，从而解决了长期存在的关于谱方法在 top-$K$ 排名中最优性的问题。

ABSTRACT

We explore the top-$K$ rank aggregation problem. Suppose a collection of items is compared in pairs repeatedly, and we aim to recover a consistent ordering that focuses on the top-$K$ ranked items based on partially revealed preference information. We investigate the Bradley-Terry-Luce model in which one ranks items according to their perceived utilities modeled as noisy observations of their underlying true utilities. Our main contributions are two-fold. First, in a general comparison model where item pairs to compare are given a priori, we attain an upper and lower bound on the sample size for reliable recovery of the top-$K$ ranked items. Second, more importantly, extending the result to a random comparison model where item pairs to compare are chosen independently with some probability, we show that in slightly restricted regimes, the gap between the derived bounds reduces to a constant factor, hence reveals that a spectral method can achieve the minimax optimality on the (order-wise) sample size required for top-$K$ ranking. That is to say, we demonstrate a spectral method alone to be sufficient to achieve the optimality and advantageous in terms of computational complexity, as it does not require an additional stage of maximum likelihood estimation that a state-of-the-art scheme employs to achieve the optimality. We corroborate our main results by numerical experiments.

研究动机与目标

• 刻画从成对比较中实现可靠 top-$K$ 排名所需的基本样本复杂度。
• 确定谱排名方法是否能在无需额外估计阶段的情况下实现 top-$K$ 恢复的最小最大最优性。
• 分析在确定性和随机比较模型下，样本量上下界之间的性能差距。
• 建立谱方法仅凭自身即可实现最优样本复杂度的条件，特别是在随机比较情形下。
• 为谱估计器提供紧致的 $\ell_\infty$ 误差界，从而精确刻画 top-$K$ 恢复性能。

提出的方法

• 在确定性比较模型中，通过谱排名（Rank Centrality）推导 top-$K$ 恢复的样本量上下界。
• 分析每个对以概率 $p$ 独立采样的随机比较模型，并推导出实现最优性能的 $p$ 和 $L$（每对比较次数）的条件。
• 应用 Bernstein 不等式和集中不等式，控制每个项目的度数以及转移矩阵的谱范数。
• 利用谱估计器 $\hat{w}$ 的 $\ell_\infty$ 误差界，将估计精度与 top-$K$ 恢复性能关联起来。
• 将推导出的界与最小最大下界进行比较，表明当 $p \gtrsim \sqrt{\frac{\log n}{n}}$ 时，谱排名可实现样本复杂度的阶最优。
• 证明谱方法本身已足够实现最优性，无需使用先前最先进方法中依赖的独立最大似然估计优化阶段。

实验结果

研究问题

• RQ1 在何种条件下，谱排名可实现 top-$K$ 排名的最小最大最优样本复杂度？
• RQ2 谱方法是否可仅凭自身实现最优的 top-$K$ 恢复，而无需依赖额外的最大似然估计？
• RQ3 在 $n$、$K$ 和项目效用差距 $\Delta_K$ 的变化下，top-$K$ 恢复的样本量上下界如何变化？
• RQ4 比较图的稀疏性和项目度数的平衡性在决定谱排名最优性中的作用是什么？
• RQ5 在 top-$K$ 识别背景下，谱估计器的 $\ell_\infty$ 误差界有多紧？

主要发现

• 在确定性比较模型中，本文推导出样本量的上下界在常数因子内匹配，表明当项目度数分布均衡时，谱排名具有阶最优性。
• 在 $p \gtrsim \sqrt{\frac{\log n}{n}}$ 的随机比较模型中，上下界之间的差距缩小为常数因子，证明谱排名在样本复杂度上实现了最小最大最优性。
• 谱估计器的 $\ell_\infty$ 误差满足 $\frac{\|w - \hat{w}\|_\infty}{\|w\|_\infty} \lesssim \sqrt{\frac{\log n}{npL}}$，从而可对所需样本量进行精确刻画。
• 每对比较所需的比较次数为 $L \gtrsim \frac{\log n}{np}$，在随机模型下与最小最大下界仅相差常数因子。
• 谱方法本身即可实现最优性能，无需使用先前最优方案中依赖的独立 MLE 优化步骤，因而具有计算优势。
• 数值实验验证了理论结果，确认了界值的紧致性以及谱排名在 top-$K$ 恢复中的最优性。