[论文解读] Optimal strategies for reject option classifiers

Vojtěch Franc, Prusa, D.+1 more|arXiv (Cornell University)|Jan 29, 2021

Machine Learning and Algorithms参考文献 34被引用 6

一句话总结

本文通过引入随机化贝叶斯选择函数，提出了一套统一的理论框架，用于最优拒绝选项分类器，实现了基于不确定性的贝叶斯最优预测。它将适当的不确定度评分定义为构建该函数的充分标量摘要，并提出了两种费雪一致的算法，从数据中学习该评分，从而在分类、序数回归和结构化预测任务中实现最优的风险-覆盖率权衡。

ABSTRACT

In classification with a reject option, the classifier is allowed in uncertain cases to abstain from prediction. The classical cost-based model of a reject option classifier requires the cost of rejection to be defined explicitly. An alternative bounded-improvement model, avoiding the notion of the reject cost, seeks for a classifier with a guaranteed selective risk and maximal cover. We coin a symmetric definition, the bounded-coverage model, which seeks for a classifier with minimal selective risk and guaranteed coverage. We prove that despite their different formulations the three rejection models lead to the same prediction strategy: a Bayes classifier endowed with a randomized Bayes selection function. We define a notion of a proper uncertainty score as a scalar summary of prediction uncertainty sufficient to construct the randomized Bayes selection function. We propose two algorithms to learn the proper uncertainty score from examples for an arbitrary black-box classifier. We prove that both algorithms provide Fisher consistent estimates of the proper uncertainty score and we demonstrate their efficiency on different prediction problems including classification, ordinal regression and structured output classification.

研究动机与目标

• 统一并扩展现有基于成本、有界改进和有界覆盖率模型的最优拒绝选项分类器的表述形式。
• 形式化表征最优预测策略为带有随机化贝叶斯选择函数的贝叶斯分类器，确保在所有三种模型下均达到最优。
• 将适当的不确定度评分定义为保持由条件期望风险所诱导的顺序的标量函数，从而能够构建最优拒绝策略。
• 开发两种通用的、费雪一致的算法，用于从有标签样本中学习适当的不确定度评分，适用于任意黑箱分类器。
• 在包括二分类、序数回归和结构化输出分类在内的多样化任务上，实证验证所提方法，证明其在风险-覆盖率性能上的优越性。

提出的方法

• 引入随机化贝叶斯选择函数，当条件期望风险接近阈值时，以概率方式拒绝预测，且接受概率被调节以满足风险或覆盖率约束。
• 将有界覆盖率模型定义为有界改进模型的对称对偶，旨在在保证覆盖率约束下最小化选择性风险。
• 证明相同的随机化贝叶斯选择函数可同时解决有界改进和有界覆盖率模型，从而统一了三种拒绝范式（基于成本、有界改进、有界覆盖率）。
• 提出适当的不确定度评分作为函数，通过保持输入按其条件风险的排序关系，足以恢复最优拒绝策略。
• 开发两种学习算法：一种基于经验风险最小化与代理损失函数，另一种基于成对比较的代理函数，两者均被证明具有费雪一致性。
• 采用包含对数-求和-指数项的代理损失函数，以近似风险-覆盖率权衡，并在理论上保证收敛至最优评分。

实验结果

研究问题

• RQ1 当底层分布已知时，在有界改进模型下，最优预测策略是什么？
• RQ2 作为有界改进模型的对称对偶，有界覆盖率模型与最优拒绝策略有何关系？
• RQ3 标量不确定度评分需满足何种条件，才能足以构建最优随机化贝叶斯选择函数？
• RQ4 能否设计通用的学习算法，从数据中估计适当的不确定度评分，同时确保费雪一致性？
• RQ5 在不同学习任务中，所提算法与现有不确定度估计方法相比，在风险-覆盖率权衡方面表现如何？

主要发现

• 所有三种拒绝模型——基于成本、有界改进和有界覆盖率——的最优策略相同：即带有随机化贝叶斯选择函数的贝叶斯分类器。
• 随机化贝叶斯选择函数完全由决策阈值和接受概率决定，且与目标风险水平和覆盖率水平存在明确关系。
• 适当的不确定度评分被定义为保持输入按其条件期望风险排序的函数，足以实现最优拒绝。
• 所提学习算法具有费雪一致性，即随着样本量增加，其收敛至真实最优不确定度评分。
• 实证结果表明，所学习的不确定度评分在分类、序数回归和结构化输出预测任务中均实现了更优的风险-覆盖率（RC）曲线表现。
• 理论分析证明，最优策略唯一由条件风险和拒绝参数决定，不存在其他策略能实现更优性能。