[论文解读] The PAV algorithm optimizes binary proper scoring rules

Niko Brümmer, Johan A. du Preez|arXiv (Cornell University)|Apr 8, 2013

Imbalanced Data Classification Techniques参考文献 16被引用 26

一句话总结

本文证明了池化相邻违反者（PAV）算法在所有常规二元正确评分规则（RBPSR）下，对二元模式识别得分的校准均达到最优，无论是在后验概率还是对数似然比方面。关键贡献在于，PAV 提供了校准的全局最优单调非参数变换，且其最优性独立于类别先验概率，尤其在对数似然比校准时成立。

ABSTRACT

There has been much recent interest in application of the pool-adjacent-violators (PAV) algorithm for the purpose of calibrating the probabilistic outputs of automatic pattern recognition and machine learning algorithms. Special cost functions, known as proper scoring rules form natural objective functions to judge the goodness of such calibration. We show that for binary pattern classifiers, the non-parametric optimization of calibration, subject to a monotonicity constraint, can be solved by PAV and that this solution is optimal for all regular binary proper scoring rules. This extends previous results which were limited to convex binary proper scoring rules. We further show that this result holds not only for calibration of probabilities, but also for calibration of log-likelihood-ratios, in which case optimality holds independently of the prior probabilities of the pattern classes.

研究动机与目标

• 建立 PAV 算法在二元模式识别系统非参数单调校准中的最优性。
• 将先前仅限于凸正确评分规则的结果扩展至更广泛的常规二元正确评分规则（RBPSR）类别，证明 PAV 的最优性。
• 证明基于 PAV 的对数似然比校准在类别先验概率无关下仍为最优，从而在法医学和说话人识别等应用中实现无先验校准。
• 为将 PAV 作为评估参数校准方法的黄金标准基准提供理论基础。

提出的方法

• 将校准问题形式化为在常规二元正确评分规则（RBPSR）目标下，具有单调性约束的非参数单调优化任务。
• 通过涉及归一化密度函数 ρ(η) 的积分表示定义 RBPSR 家族，以确保正确评分规则的性质。
• 证明 PAV 算法可求解最小化 RBPSR 目标函数的同质回归问题，且满足单调性约束。
• 通过变换得分映射以保持先验概率不变性，将 PAV 框架适配用于对数似然比（LLR）校准。
• 利用 PAV 解作为参考基准，评估参数校准模型的性能，借助其在单调性下的最优性。
• 应用插值技术，将 PAV 映射扩展至实际部署场景中未见的得分值。

实验结果

研究问题

• RQ1 PAV 算法是否对所有常规二元正确评分规则（而不仅限于凸规则）均达到最优？
• RQ2 PAV 能否以独立于类别先验概率的方式，实现对数似然比的最优校准？
• RQ3 PAV 的非参数单调特性是否会损害校准过程中的信息保留？
• RQ4 在包含未见得分值的实际模式识别系统中，如何实现 PAV 的实际应用？

主要发现

• PAV 算法在任意常规二元正确评分规则（RBPSR）下，对单调非参数校准提供了全局最优解。
• PAV 的最优性不仅适用于概率校准，也适用于对数似然比校准，且其最优性不依赖于目标类别的先验概率。
• PAV 解是所有严格递增单调变换下 RBPSR 目标函数的下确界，因此是理论上可能的最优单调校准。
• 尽管 PAV 存在平坦区域且不可逆，但其仍能保留相关信息，因为正确评分规则是广义的信息度量，其中对数规则等价于交叉熵。
• 对 PAV 映射进行插值可实现对未见得分的部署，且该方法可作为评估参数校准模型的黄金标准基准。
• 基于 PAV 的评估框架已作为免费 MATLAB 工具包发布，支持在实践中对校准策略进行可复现的评估。