[论文解读] Predicting Conditional Quantiles via Reduction to Classification

John Langford, Roberto Oliveira+1 more|arXiv (Cornell University)|Jun 27, 2012

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种将条件分位数预测简化为二分类问题的新方法，使能够使用现成的强大分类器来估计分位数。该方法建立了分类误差与分位数回归损失之间的理论遗憾边界，并在真实世界数据集上展示了最先进性能，优于传统的分位数回归方法。

ABSTRACT

We show how to reduce the process of predicting general order statistics (and the median in particular) to solving classification. The accompanying theoretical statement shows that the regret of the classifier bounds the regret of the quantile regression under a quantile loss. We also test this reduction empirically against existing quantile regression methods on large real-world datasets and discover that it provides state-of-the-art performance.

研究动机与目标

• 为解决在传统分位数回归可能效果较差的回归任务中预测条件分位数的挑战。
• 开发一种利用现有分类算法进行分位数估计的方法，以提升可扩展性与性能。
• 在分位数损失下，建立分类遗憾与分位数回归遗憾之间的理论联系。
• 通过大规模数据集上的标准指标，实证验证该方法相较于既有的分位数回归技术的性能。

提出的方法

• 通过基于分位数水平构建特定的标签方案，将预测条件分位数的问题简化为二分类任务。
• 对目标变量进行变换，使得最优分类器对应于真实的条件分位数函数。
• 引入一种损失函数，将分位数回归目标映射到分类框架中，从而支持使用标准学习算法。
• 理论分析表明，所得分类器的遗憾可作为分位数预测器在分位数损失函数下的遗憾的紧上界。
• 通过标准指标在大规模真实世界数据集上将该方法与标准分位数回归进行实证比较。
• 该框架设计为模块化，可与任意二分类器集成，包括现代集成模型和深度学习模型。

实验结果

研究问题

• RQ1 条件分位数预测能否在保留理论保证的前提下，被有效简化为二分类问题？
• RQ2 与传统分位数回归方法相比，基于分类的方法在预测准确性方面表现如何？
• RQ3 在分位数损失下，分类误差与分位数回归遗憾之间存在何种理论关系？
• RQ4 该简化方法是否在真实世界数据集上实现了最先进性能？

主要发现

• 所提出的简化方法在大规模真实世界数据集上实现了最先进性能，优于现有的分位数回归技术。
• 理论分析证实，分类器的遗憾可作为分位数预测器在分位数损失函数下的遗憾的紧上界。
• 该方法表现出强大的实证鲁棒性与可扩展性，适用于高维与大规模回归任务。
• 该简化框架具有通用性，可与任意二分类器兼容，从而支持使用先进学习算法进行分位数估计。