[论文解读] Ranking Data with Continuous Labels through Oriented Recursive Partitions

Stéphan Clémençon, Mastane Achab|arXiv (Cornell University)|Jan 17, 2018

Advanced Statistical Methods and Models被引用 3

一句话总结

本文提出了连续排序（continuous ranking），这是一种监督学习问题，目标是通过保持连续标签 Y 的随机序关系的评分函数对对象进行排序。该文提出了 IROC 曲线和 IAUC 准则用于性能评估，并开发了 CRank 算法，一种通过有向二叉树优化 IAUC 的递归划分算法，在经验测试中表现优于回归和排序基线方法。

ABSTRACT

We formulate a supervised learning problem, referred to as continuous ranking, where a continuous real-valued label Y is assigned to an observable r.v. X taking its values in a feature space $\mathcal{X}$ and the goal is to order all possible observations x in $\mathcal{X}$ by means of a scoring function $s:\mathcal{X} ightarrow \mathbb{R}$ so that s(X) and Y tend to increase or decrease together with highest probability. This problem generalizes bi/multi-partite ranking to a certain extent and the task of finding optimal scoring functions s(x) can be naturally cast as optimization of a dedicated functional criterion, called the IROC curve here, or as maximization of the Kendall $τ$ related to the pair (s(X), Y ). From the theoretical side, we describe the optimal elements of this problem and provide statistical guarantees for empirical Kendall $τ$ maximization under appropriate conditions for the class of scoring function candidates. We also propose a recursive statistical learning algorithm tailored to empirical IROC curve optimization and producing a piecewise constant scoring function that is fully described by an oriented binary tree. Preliminary numerical experiments highlight the difference in nature between regression and continuous ranking and provide strong empirical evidence of the performance of empirical optimizers of the criteria proposed.

研究动机与目标

• 将连续排序形式化为双分类和多分类排序的推广，其中标签 Y 为连续而非二值或离散。
• 建立连续排序中最优评分函数存在的理论条件。
• 提出 IROC 曲线和 IAUC 作为连续排序的自然、分布无关的性能度量标准。
• 开发一种递归统计学习算法（CRank），通过有向二叉划分优化经验 IAUC 准则。
• 通过实证结果证明，连续排序在本质上不同于回归，且基于 IAUC 的学习可实现更优的排序性能。

提出的方法

• 将连续排序建模为对功能性准则（即 IROC 曲线）的优化问题，该准则将 ROC 曲线推广至连续标签。
• 将 IAUC（集成 AUC）定义为性能的汇总标量度量，等价于 s(X) 与 Y 之间的期望 Kendall tau 等级相关系数。
• 提出 CRank 算法，一种通过有向二叉树构建分段常数评分函数的递归划分方法。
• 在每个节点，CRank 使用基于中位数的阈值对数据子集进行二分类，以局部优化 IAUC。
• 采用基于交叉验证的剪枝策略，从完整树序列中选择最优子树，以平衡模型复杂度与性能。
• 通过一个已知 Y = m(X) 的一维玩具示例对方法进行实证评估，比较 CRank、Kendall 优化 CRank 和 CART 在 IAUC、Kendall tau 和 MSE 上的表现。

实验结果

研究问题

• RQ1 在何种条件下连续排序中存在最优评分函数？其在随机序意义下如何表征？
• RQ2 在连续排序设置中，如何定量衡量评分函数的性能？何种标准可推广二分类中的 AUC？
• RQ3 递归划分能否被适配以优化连续排序中的 IAUC？其是否能生成稳定且可解释的评分函数？
• RQ4 连续排序在本质上与标准回归有何不同？为何最小化 MSE 对于排序任务并非最优？
• RQ5 与回归和 Kendall tau 最大化相比，IAUC 优化学习在连续排序中的实证性能如何？

主要发现

• CRank 在玩具示例中实现了 0.95 的 IAUC，显著优于 CART（0.61）和 Kendall 优化 CRank（0.94），表明其在 IAUC 优化方面表现更优。
• CRank 的 Kendall tau 为 0.92，远高于 CART 的 0.58，表明其与真实连续标签的等级相关性更优。
• CART 的 MSE 最低（7.4×10⁻⁴），但其 IAUC 和 Kendall tau 表现较差，证明 MSE 最小化无法保持排序顺序。
• Kendall 优化版本的 CRank 实现了 0.93 的高 Kendall tau 和 0.94 的 IAUC，证实 IAUC 与 Kendall tau 在实践中高度一致。
• 实证结果表明，最小二乘准则（MSE）对于连续排序不充分，因其无法捕捉对正确排序至关重要的局部振荡。
• CRank 算法成功通过有向递归划分学习到分段常数评分函数，生成分层且可解释的排序模型。