[论文解读] Ranking and empirical minimization of U-statistics

Stéphan Clémençon, Gábor Lugosi+1 more|arXiv (Cornell University)|Mar 5, 2006

Bayesian Methods and Mixture Models参考文献 38被引用 155

一句话总结

本文将排序问题形式化为使用U-统计量建模排序风险的统计学习问题，建立了退化U-过程的新尾部不等式，并在特定噪声条件下证明了经验风险最小化可实现快速收敛速率——与分类结果相一致。此外，本文还为基于提升法和SVM风格的排序算法开发了凸风险最小化框架，并提供了普遍一致性的保证。

ABSTRACT

The problem of ranking/ordering instances, instead of simply classifying them, has recently gained much attention in machine learning. In this paper we formulate the ranking problem in a rigorous statistical framework. The goal is to learn a ranking rule for deciding, among two instances, which one is "better," with minimum ranking risk. Since the natural estimates of the risk are of the form of a U-statistic, results of the theory of U-processes are required for investigating the consistency of empirical risk minimizers. We establish in particular a tail inequality for degenerate U-processes, and apply it for showing that fast rates of convergence may be achieved under specific noise assumptions, just like in classification. Convex risk minimization methods are also studied.

研究动机与目标

• 使用U-统计量在严格的统计学习框架中形式化排序问题。
• 建立排序任务中经验风险最小化器的一致性和快速收敛速率。
• 为排序任务开发基于提升法和SVM思想的凸风险最小化方法。
• 推导退化U-过程的新指数集中不等式作为关键理论工具。
• 将排序问题与AUC准则和ROC曲线联系起来，以实现实际评估。

提出的方法

• 基于实例对之间的成对比较，将排序风险建模为U-统计量。
• 应用对称化、去耦合和超收缩性方法，推导退化U-过程的尾部不等式。
• 使用Hoeffding分解分析U-统计量的方差结构，并优化集中界限。
• 通过代理损失函数在评分函数上进行凸风险最小化，以实现可扩展的学习。
• 在较弱条件下，建立正则化经验风险最小化器的普遍一致性。
• 通过Neyman-Pearson引理，将最优评分函数与回归函数η(x) = P(Y > Y' | X, X')联系起来。

实验结果

研究问题

• RQ1 在排序问题中，基于U-统计量的经验风险最小化能否实现快速收敛速率？
• RQ2 在退化情况下，控制经验U-统计量与其期望值偏差的集中不等式是什么？
• RQ3 如何将凸风险最小化方法适配到排序任务中，以确保一致性和快速收敛速率？
• RQ4 AUC准则与最优排序规则之间存在何种理论联系？
• RQ5 在何种噪声假设下，经验风险最小化器可实现快速收敛？

主要发现

• 建立了一个新的类似Bernstein的退化U-过程尾部不等式，用U-统计量核的条件方差替代了方差项。
• 在Tsybakov型噪声条件下，经验风险最小化器实现了快速收敛速率，与分类问题中的结果类似。
• 最优排序规则对应于回归函数η(x) = P(Y > Y' | X, X')的符号，从而实现最小风险。
• AUC准则等价于正样本被排在负样本之上的概率，提供了概率解释。
• 在适当的正则化下，对评分函数进行凸风险最小化可得到普遍一致的排序规则。
• 退化U-统计量的方差为O(1/n²)量级，表明其收敛速度优于标准U-统计量。