[论文解读] On the Consistency of Ordinal Regression Methods

Fabián Pedregosa, Francis Bach+1 more|arXiv (Cornell University)|Aug 11, 2014

Face and Expression Recognition参考文献 32被引用 32

一句话总结

本文对序回归方法的Fisher一致性进行了全面的理论分析，提出了一种广义全阈值（GAT）代理损失，统一并扩展了现有方法（如支持向量序回归和最小绝对偏差）。关键贡献是基于凸函数在零点的导数对一致性进行表征，实证验证表明GAT在9个数据集中的7个上优于最小二乘法。

ABSTRACT

Many of the ordinal regression models that have been proposed in the literature can be seen as methods that minimize a convex surrogate of the zero-one, absolute, or squared loss functions. A key property that allows to study the statistical implications of such approximations is that of Fisher consistency. Fisher consistency is a desirable property for surrogate loss functions and implies that in the population setting, i.e., if the probability distribution that generates the data were available, then optimization of the surrogate would yield the best possible model. In this paper we will characterize the Fisher consistency of a rich family of surrogate loss functions used in the context of ordinal regression, including support vector ordinal regression, ORBoosting and least absolute deviation. We will see that, for a family of surrogate loss functions that subsumes support vector ordinal regression and ORBoosting, consistency can be fully characterized by the derivative of a real-valued function at zero, as happens for convex margin-based surrogates in binary classification. We also derive excess risk bounds for a surrogate of the absolute error that generalize existing risk bounds for binary classification. Finally, our analysis suggests a novel surrogate of the squared error loss. We compare this novel surrogate with competing approaches on 9 different datasets. Our method shows to be highly competitive in practice, outperforming the least squares loss on 7 out of 9 datasets.

研究动机与目标

• 建立一个统一的理论框架，用于分析序回归方法中的Fisher一致性。
• 表征序回归中主要代理损失函数的一致性，包括0-1、绝对误差和平方误差损失的代理函数。
• 推导代理损失的过量风险界，将二分类中的现有结果推广至序分类。
• 提出一种新型代理损失——广义全阈值（GAT），其具有一致性且在实证中表现具有竞争力。
• 研究标准一致性假设在序回归中的局限性，并在结构约束下引入一种受限的一致性概念（F一致性）。

提出的方法

• 使用基于阈值的决策函数和凸代理损失，将序回归形式化为统一框架。
• 引入广义全阈值（GAT）代理损失作为代理损失家族的统一形式，通过一个凸实值函数定义。
• 利用底层凸函数在零点的导数，表征GAT的Fisher一致性，扩展了二分类结果。
• 应用可分解性性质，推导出过量风险界，将Bartlett等人（2003）在二分类中的经典结果推广至序分类。
• 引入F一致性（参数一致性）以处理违反独立同分布假设的结构化决策函数。
• 使用20折交叉验证，在9个数据集上对GAT代理损失与最小二乘法进行实证比较。

实验结果

研究问题

• RQ1 序回归中使用的哪些代理损失函数是Fisher一致的？其一致性如何表征？
• RQ2 能否构建一个统一的代理损失家族，以统一现有方法（如支持向量序回归和ORBoosting）？
• RQ3 序回归代理损失的过量风险界与二分类中的结果相比如何？
• RQ4 广义全阈值（GAT）代理损失是否在实证性能上优于标准最小二乘损失？
• RQ5 在结构约束下，是否可为基于阈值的决策函数建立一种受限的一致性概念（F一致性）？

主要发现

• 通过凸函数在零点的导数，完全表征了包括AT、IT、CL和LAD在内的广泛序回归代理损失的Fisher一致性。
• 提出广义全阈值（GAT）代理损失作为新型、一致的平方误差损失代理，统一了现有方法。
• GAT代理损失的过量风险界推广了Bartlett等人（2003）在二分类中的经典结果，扩展至序分类。
• 实证评估表明，GAT代理损失在9个数据集中的7个上，其交叉验证误差优于最小二乘损失。
• Wilcoxon符号秩检验确认在9个数据集中的3个上性能差异具有统计显著性（p < 0.01）。
• 研究在结构约束下为两个代理损失建立了F一致性，表明其为序回归提供了一种更具实用性的统一一致性框架。