[论文解读] Optimally Efficient Sequential Calibration of Binary Classifiers to Minimize Classification Error

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Aug 19, 2021

Advanced Bandit Algorithms Research参考文献 41被引用 6

一句话总结

本文提出一种顺序递归合并算法，用于最优校准二分类器得分以最小化分类错误。证明了最优单调映射为阈值函数（0或1概率），并实现每个新样本$O(\log N)$的时间复杂度，使其成为首个针对一般线性损失（包括类别加权和样本加权错误）实现最优效率的顺序校准方法。

ABSTRACT

In this work, we aim to calibrate the score outputs of an estimator for the binary classification problem by finding an 'optimal' mapping to class probabilities, where the 'optimal' mapping is in the sense that minimizes the classification error (or equivalently, maximizes the accuracy). We show that for the given target variables and the score outputs of an estimator, an 'optimal' soft mapping, which monotonically maps the score values to probabilities, is a hard mapping that maps the score values to $0$ and $1$. We show that for class weighted (where the accuracy for one class is more important) and sample weighted (where the samples' accurate classifications are not equally important) errors, or even general linear losses; this hard mapping characteristic is preserved. We propose a sequential recursive merger approach, which produces an 'optimal' hard mapping (for the observed samples so far) sequentially with each incoming new sample. Our approach has a logarithmic in sample size time complexity, which is optimally efficient.

研究动机与目标

• 寻找从分类器得分输出到类别概率的最优单调映射，以最小化分类错误。
• 将最优校准扩展至标准准确率之外的类别加权、样本加权及一般线性损失。
• 开发一种顺序在线算法，高效地随每个新样本更新最优阈值。
• 实现每个新样本$O(\log N)$的时间复杂度，以达到最优效率。
• 提供一种后处理解决方案，在不重新训练的前提下保持判别能力的同时提升校准性能。

提出的方法

• 提出一种顺序递归合并算法，通过新样本到达时的动态更新维持最优阈值。
• 使用包含辅助集合$\mathcal{B} = \{X_0, X_1, L_0, L_1\}$的数据结构，表示样本子集及其损失贡献。
• 基于$L_1^0 + L_0^1$的符号应用合并规则，以在递归组合过程中确定最优阈值。
• 采用深度有界的自底向上递归，复杂度为$O(\log N)$，确保对数时间的更新效率。
• 通过确保得分值的有序相邻分区，维持映射的单调性。
• 通过递归中损失和边界信息的局部传播，实现每次更新$O(1)$的时间复杂度。

实验结果

研究问题

• RQ1 从分类器得分到概率的最优单调映射是什么，能够最小化分类错误？
• RQ2 在类别加权或样本加权错误度量下，最优映射是否仍为阈值函数？
• RQ3 能否设计一种在线顺序算法，以$O\left(\log N\right)$的时间复杂度处理每个新样本并维持最优阈值？
• RQ4 是否存在一种递归数据结构，能够实现对校准函数的高效且最优的更新？
• RQ5 该方法能否推广至标准准确率之外的任意线性损失函数？

主要发现

• 为最小化分类错误而设计的最优校准映射为硬阈值函数，将所有得分映射为0或1。
• 该阈值特性在类别加权、样本加权及一般线性损失函数下依然成立。
• 所提出的顺序递归合并算法实现了每个新样本$O(\log N)$的时间复杂度，达到最优效率。
• 该算法通过使用辅助损失集合递归合并有序得分分区，维持最优阈值。
• 递归深度受$O(\log N)$限制，即使在样本无序到达的情况下也能确保对数时间的更新效率。
• 每次更新操作为$O(1)$时间，得益于损失和边界信息在递归中的局部传播。