[论文解读] Ranking Inferences Based on the Top Choice of Multiway Comparisons

Jianqing Fan, Zhipeng Lou+2 more|arXiv (Cornell University)|Nov 22, 2022

Economic and Environmental Valuation被引用 5

一句话总结

本文提出了一种新颖的统计框架，仅基于多路比较（M路）中的首选项进行排名推断，扩展了Bradley-Terry-Luce模型。该研究建立了偏好得分最大似然估计的最优收敛速率，推导出MLE的渐近正态性，并提出一种基于高斯乘子自展法的推断方法，用于构建得分差异与排名的联合置信区间——在稀疏采样条件下提供了有效的不确定性量化。

ABSTRACT

This paper considers ranking inference of $n$ items based on the observed data on the top choice among $M$ randomly selected items at each trial. This is a useful modification of the Plackett-Luce model for $M$-way ranking with only the top choice observed and is an extension of the celebrated Bradley-Terry-Luce model that corresponds to $M=2$. Under a uniform sampling scheme in which any $M$ distinguished items are selected for comparisons with probability $p$ and the selected $M$ items are compared $L$ times with multinomial outcomes, we establish the statistical rates of convergence for underlying $n$ preference scores using both $\ell_2$-norm and $\ell_\infty$-norm, with the minimum sampling complexity. In addition, we establish the asymptotic normality of the maximum likelihood estimator that allows us to construct confidence intervals for the underlying scores. Furthermore, we propose a novel inference framework for ranking items through a sophisticated maximum pairwise difference statistic whose distribution is estimated via a valid Gaussian multiplier bootstrap. The estimated distribution is then used to construct simultaneous confidence intervals for the differences in the preference scores and the ranks of individual items. They also enable us to address various inference questions on the ranks of these items. Extensive simulation studies lend further support to our theoretical results. A real data application illustrates the usefulness of the proposed methods convincingly.

研究动机与目标

• 解决仅观测到多路比较中首选项时，排名推断中缺乏不确定性量化的不足。
• 将Bradley-Terry-Luce模型扩展至仅观测到M个项目中首选项的情形，推广成对比较模型。
• 在最稀疏的均匀采样制度下，建立偏好得分估计的最优统计收敛速率。
• 为排名构建严谨的推断框架，包括得分差异与排名位置的置信区间。
• 为MLE的渐近分布提供理论依据，并提出一种有效的自展程序以实现不确定性量化。

提出的方法

• 采用修改后的Plackett-Luce模型对偏好得分进行建模，其中仅观测到每个M项比较集中的首选项。
• 在均匀采样方案下（采样概率为$ p $，每组比较重复$ L $次），通过最大似然估计（MLE）估计潜在偏好得分。
• 在最稀疏采样制度$ p \gtrsim \log n / n $下，推导出MLE在$ \ell_2 $-范数与$ \ell_\infty $-范数下的最优收敛速率。
• 建立MLE的渐近正态性，从而支持对个体得分的推断。
• 提出一种基于最大成对差异统计量的新推断框架，其分布通过高斯乘子自展法估计。
• 利用自展法估计的分布，构建得分差异与排名的联合置信区间，支持对前K名排名的假设检验与稳健筛选。

实验结果

研究问题

• RQ1 当仅观测到多路比较中的首选项时，估计偏好得分的最优统计收敛速率是什么？
• RQ2 在首选项多路比较模型中，MLE的渐近分布是什么？是否可用于有效的不确定性量化？
• RQ3 如何在此模型下构建偏好得分差异与排名的联合置信区间？
• RQ4 所提出的推断框架能否产生比现有方法（如Bonferroni校正）更窄的置信区间？
• RQ5 在此设置下，实现最优估计与推断所需的最小采样复杂度是多少？

主要发现

• 在最稀疏的均匀采样制度$ p \gtrsim \log n / n $下，MLE在$ \ell_2 $-范数与$ \ell_\infty $-范数下均达到最优收敛速率，与理论下界一致。
• 在相同采样制度下，MLE具有渐近正态性，支持对个体偏好得分的有效推断。
• 所提出的高斯乘子自展方法能有效近似最大成对差异统计量的分布，从而支持得分差异的联合置信区间构建。
• 通过该框架构建的排名置信区间，其宽度在理论上优于使用高概率Bonferroni校正获得的结果。
• 模拟研究证实，随着$ M $增大（如从$ M=2 $增至$ M=3 $）或采样概率$ p $提高，置信区间显著变窄，归因于有效样本量的提升。
• 在真实数据上的实证结果表明，该方法在构建可靠且狭窄的排名推断置信区间方面具有实际应用价值。