[论文解读] Ranking the best instances

Stéphan Clémençon, Nicolas Vayatis|arXiv (Cornell University)|Nov 6, 2006

Advanced Statistical Methods and Models参考文献 41被引用 84

一句话总结

该论文提出了一种新颖的局部排序框架——聚焦于识别并正确排序最佳实例——通过引入扩展AUC准则的性能度量，以优先考虑排名靠前的项目。该研究建立了基于评分函数和分位数统计量的期望风险最小化的理论基础，证明了由于固有的统计依赖性，无法通过分阶段分类与排序来实现最佳实例的最优排序。

ABSTRACT

We formulate the local ranking problem in the framework of bipartite ranking where the goal is to focus on the best instances. We propose a methodology based on the construction of real-valued scoring functions. We study empirical risk minimization of dedicated statistics which involve empirical quantiles of the scores. We first state the problem of finding the best instances which can be cast as a classification problem with mass constraint. Next, we develop special performance measures for the local ranking problem which extend the Area Under an ROC Curve (AUC/AROC) criterion and describe the optimal elements of these new criteria. We also highlight the fact that the goal of ranking the best instances cannot be achieved in a stage-wise manner where first, the best instances would be tentatively identified and then a standard AUC criterion could be applied. Eventually, we state preliminary statistical results for the local ranking problem.

研究动机与目标

• 解决对优先排序最佳实例的排序方法的需求，例如在搜索引擎、信用风险或医学诊断中，仅关注排名靠前的项目。
• 将局部排序问题形式化为一个双分类排序任务，重点关注得分分布的上尾部分，而非全局排序性能。
• 开发广义AUC的性能度量，以强调对最佳实例正确排序，超越对排序误差的均匀加权。
• 证明识别并排序最佳实例的任务无法分解为两个独立阶段（先分类后排序），因为存在统计依赖性。
• 为新局部排序准则的经验风险最小化提供理论基础，包括收敛速率和分位数估计的影响。

提出的方法

• 将最佳实例在速率 $u_0$ 下的集合定义为 $C^*_{u_0} = \{x \in \mathcal{X} \mid \eta(x) \geq Q(\eta, 1 - u_0)\}$，其中 $Q(\eta, 1 - u_0)$ 是 $\eta(X)$ 的 $(1 - u_0)$-分位数。
• 引入一个新的性能度量 $V(s, v_0)$，用于评估得分的前 $v_0$ 分位数区域内的排序质量，将AUC推广至局部区域。
• 使用涉及得分经验分位数的统计量的经验风险最小化（ERM），以估计最优评分函数。
• 应用变换 $F_s \circ \hat{F}_s^{-1}(v_0)$ 将经验分位数映射到理论分位数，实现在温和正则性条件下的一致估计。
• 利用Dvoretsky-Kiefer-Wolfowitz（DKW）不等式和Bernstein型浓度不等式，控制经验分位数估计器的偏差。
• 建立 $V_n(s, F_s \circ \hat{F}_s^{-1}(v_0))$ 与 $V_n(s, v_0)$ 之间的渐近等价性，表明经验过程以速率 $O_p(\sqrt{\log(1/\delta)/n})$ 收敛。

实验结果

研究问题

• RQ1 如何扩展性能度量以优先考虑最佳实例的排序，而非全局排序准确性？
• RQ2 当目标是排序前 $u_0$ 比例的实例时，经验风险最小化的统计特性是什么？
• RQ3 识别并排序最佳实例的问题能否以分阶段方式解决（先分类后排序），还是两个任务存在统计依赖性？
• RQ4 在经验风险最小化下，所提出的局部排序准则的收敛速率如何？
• RQ5 分位数估计误差如何影响局部排序程序的性能？

主要发现

• 由于选择与排序之间的相互依赖性，无法通过先识别最佳实例再应用标准AUC学习方法来获得局部排序的最优评分函数。
• 局部排序准则的经验风险最小化使经验性能与理论对应值之间的偏差达到 $O_p(\sqrt{\log(1/\delta)/n})$ 的收敛速率。
• 在得分分布的温和正则性条件下，真实与经验分位数性能度量之间的差异被限制为 $O_p(\sqrt{\log(1/\delta)/n})$。
• 在可微性假设下，表示分位数估计误差的项 $K(s, F_s \circ \hat{F}_s^{-1}(v_0)) - K(s, v_0)$ 被证明为 $O_p(n^{-1})$。
• 通过使用局部经验过程和浓度不等式进行链式论证，建立了经验过程的收敛性，关键步骤是控制 $V_n(s, v)$ 在 $v_0$ 附近的波动。
• 理论框架证实，局部排序问题需要联合处理选择与排序，且标准AUC方法不足以应对此任务。