[论文解读] Ranking Median Regression: Learning to Order through Local Consensus

Stéphan Clémençon, Anna Korba+1 more|arXiv (Cornell University)|Oct 31, 2017

Game Theory and Voting Systems参考文献 22被引用 3

一句话总结

本文提出排名中位数回归方法，通过利用局部Kemeny中位数近似条件排名中位数，基于输入特征预测用户偏好排列。该方法建立了理论学习速率，并提出了高效的k-NN与树基算法（CRIT），在合成数据与真实世界GSS数据上均优于基线模型，实现了更低的经验Kendall距离风险。

ABSTRACT

This article is devoted to the problem of predicting the value taken by a random permutation $Σ$, describing the preferences of an individual over a set of numbered items $\{1,\; \ldots,\; n\}$ say, based on the observation of an input/explanatory r.v. $X$ e.g. characteristics of the individual), when error is measured by the Kendall $τ$ distance. In the probabilistic formulation of the 'Learning to Order' problem we propose, which extends the framework for statistical Kemeny ranking aggregation developped in \citet{CKS17}, this boils down to recovering conditional Kemeny medians of $Σ$ given $X$ from i.i.d. training examples $(X_1, Σ_1),\; \ldots,\; (X_N, Σ_N)$. For this reason, this statistical learning problem is referred to as extit{ranking median regression} here. Our contribution is twofold. We first propose a probabilistic theory of ranking median regression: the set of optimal elements is characterized, the performance of empirical risk minimizers is investigated in this context and situations where fast learning rates can be achieved are also exhibited. Next we introduce the concept of local consensus/median, in order to derive efficient methods for ranking median regression. The major advantage of this local learning approach lies in its close connection with the widely studied Kemeny aggregation problem. From an algorithmic perspective, this permits to build predictive rules for ranking median regression by implementing efficient techniques for (approximate) Kemeny median computations at a local level in a tractable manner. In particular, versions of $k$-nearest neighbor and tree-based methods, tailored to ranking median regression, are investigated. Accuracy of piecewise constant ranking median regression rules is studied under a specific smoothness assumption for $Σ$'s conditional distribution given $X$.

研究动机与目标

• 将从输入特征预测用户偏好排列的问题形式化为统计学习任务。
• 将统计Kemeny排名聚合方法扩展至具有输入相关偏好的条件设置。
• 基于局部一致性，开发计算高效且可解释的排名预测预测模型。
• 为分段常数排名规则建立理论学习速率与近似界。
• 在合成数据与真实世界GSS调查数据上对方法进行实证验证。

提出的方法

• 将排名中位数回归表述为基于Kendall τ距离的期望风险最小化，以在给定输入X的条件下寻找条件Kemeny中位数。
• 引入局部Kemeny一致性：通过在输入空间的局部区域内计算中位数，近似条件中位数。
• 将k-最近邻方法适配至排名回归，通过在训练点邻域内计算局部Kemeny中位数实现。
• 提出CRIT算法（Consensus Ranking Ing Tree），一种基于树的方法，通过递归划分输入空间以最小化局部排名风险。
• 采用基于局部Kemeny中位数风险的节点不纯度度量来指导树分裂，确保区域内预测排名的变异性较低。
• 在实验中将Plackett-Luce模型与K-means聚类作为基线比较。

实验结果

研究问题

• RQ1 在给定输入特征的条件下，将排列预测为条件Kemeny中位数的理论基础是什么？
• RQ2 Kemeny中位数的局部一致性近似是否可在排名中位数回归中实现快速学习速率？
• RQ3 基于局部Kemeny中位数的k-NN与树基方法在预测准确性上与基线模型相比如何？
• RQ4 CRIT算法在真实世界偏好数据上的分裂揭示了输入特征的何种结构模式？
• RQ5 在光滑性假设下，分段常数预测规则在多大程度上可近似最优排名中位数函数？

主要发现

• CRIT算法在GSS数据集上实现了平均经验风险2.763，显著优于基线模型。
• k-NN方法在同一数据集上实现了平均经验风险3.235，表明其在真实世界偏好数据上的有效性。
• 在φ ≥ 2的合成数据上，k-NN与CRIT均成功恢复了输入空间的真实分段常数划分。
• CRIT算法的分裂揭示了有意义的分组：第一层为职业，第二层为种族，教育水平位于较低层级，与先前分析一致。
• 理论分析表明，当条件成对概率P(Σ(i) < Σ(j) | X = x)满足Lipschitz连续性时，可实现快速学习速率。
• 局部一致性方法可通过现有Kemeny中位数求解器实现高效计算，使该方法兼具可计算性与可解释性。