[论文解读] Multiclass Classification Calibration Functions

Bernardo Ávila Pires, Csaba Szepesvári|arXiv (Cornell University)|Sep 20, 2016

Advanced Statistical Process Monitoring参考文献 27被引用 12

一句话总结

本文提出了一种简化的框架，用于推导多分类问题中的校准函数，将复杂的多分类问题简化为类似二分类的函数。该框架实现了对多种代理损失（包括逻辑回归和一对多损失）的高效、统一的校准函数推导，提供了更紧的风险界和在噪声条件下的改进校准保证。

ABSTRACT

In this paper we refine the process of computing calibration functions for a number of multiclass classification surrogate losses. Calibration functions are a powerful tool for easily converting bounds for the surrogate risk (which can be computed through well-known methods) into bounds for the true risk, the probability of making a mistake. They are particularly suitable in non-parametric settings, where the approximation error can be controlled, and provide tighter bounds than the common technique of upper-bounding the 0-1 loss by the surrogate loss. The abstract nature of the more sophisticated existing calibration function results requires calibration functions to be explicitly derived on a case-by-case basis, requiring repeated efforts whenever bounds for a new surrogate loss are required. We devise a streamlined analysis that simplifies the process of deriving calibration functions for a large number of surrogate losses that have been proposed in the literature. The effort of deriving calibration functions is then surmised in verifying, for a chosen surrogate loss, a small number of conditions that we introduce. As case studies, we recover existing calibration functions for the well-known loss of Lee et al. (2004), and also provide novel calibration functions for well-known losses, including the one-versus-all loss and the logistic regression loss, plus a number of other losses that have been shown to be classification-calibrated in the past, but for which no calibration function had been derived.

研究动机与目标

• 简化多分类代理损失校准函数的推导，这些校准函数对于将代理风险界转化为真实风险界至关重要。
• 解决以往工作中为每种新损失单独推导校准函数所需的巨大工作量。
• 通过一组可验证的条件，将现有的二分类损失校准技术推广至多分类设置。
• 为广泛使用的损失（如逻辑回归和一对多损失）提供此前文献中未见的新型校准函数。
• 通过将二分类损失结果扩展至多分类设置，改进在 Mammen-Tsybakov 噪声条件下的风险界。

提出的方法

• 引入一组可验证的条件（条件 1–8），当代理损失满足这些条件时，可确保校准函数的存在。
• 利用基于损失的边际结构和可分解损失中的共性，将多分类校准问题简化为类似二分类的校准函数。
• 将该框架应用于恢复 Lee 等人（2006）在成本无偏设置下损失的已知校准函数。
• 通过验证所提出的条件，推导出解耦无约束背景判别损失和逻辑回归损失的新型校准函数。
• 将 Bartlett 等人（2006）在 Mammen-Tsybakov 噪声条件下改进的校准结果推广至多分类情形。
• 利用该框架分析和比较 $L^{\mathrm{LLW}}$、$L^{\mathrm{Zhang}}$ 和 $L^{\mathrm{WW}}$ 等损失，识别出由于条件不满足而导致简化失败的情况。

实验结果

研究问题

• RQ1 能否开发一种通用且可重用的框架，以避免对每种多分类代理损失进行逐案推导，来推导其校准函数？
• RQ2 如何将现有的二分类损失校准技术推广至多分类分类设置？
• RQ3 多分类代理损失必须满足哪些条件，才能实现其校准函数的简化推导？
• RQ4 能否利用该框架在 Mammen-Tsybakov 噪声条件下获得改进的风险界？
• RQ5 哪些广泛使用的多分类损失（如逻辑回归、一对多）可成功应用此方法进行分析，其对应的校准函数是什么？

主要发现

• 作者首次推导出逻辑回归损失和一对多损失的新型校准函数，此前这些结果在文献中尚不存在。
• 该框架恢复并优化了 Lee 等人（2006）在成本无偏设置下损失的已知校准函数，其界比以往工作更紧。
• 对于满足条件的损失，该方法得到的校准函数比用代理损失对 0-1 损失的朴素上界更紧、更具信息量。
• 该方法将 Bartlett 等人（2006）在 Mammen-Tsybakov 噪声条件下改进的校准结果推广至多分类问题。
• 该框架揭示了局限性：如 $L^{\mathrm{ZZH}}$ 和 $L^{\mathrm{WW}}$ 等损失不满足关键条件，需单独分析或调整。
• 该方法揭示了代理损失的缩放会影响校准函数，对风险界紧度和归一化选择具有重要影响。