[论文解读] On the Consistency of Top-k Surrogate Losses

Forest Yang, Sanmi Koyejo|arXiv (Cornell University)|Jan 30, 2019

Machine Learning and Data Classification参考文献 26被引用 5

一句话总结

本文通过引入 top-k 校准作为代理损失一致性的必要且充分条件，建立了 top-k 分类一致性理论框架。提出了基于 Bregman 散度的新一类 top-k 校准损失，证明了标准 hingelike 损失（包括凸损失）的不一致性，并提出了一种新型非凸 hinge 损失，该损失在线性模型下尤其有效，此时交叉熵会失效。

ABSTRACT

The top-$k$ error is often employed to evaluate performance for challenging classification tasks in computer vision as it is designed to compensate for ambiguity in ground truth labels. This practical success motivates our theoretical analysis of consistent top-$k$ classification. Surprisingly, it is not rigorously understood when taking the $k$-argmax of a vector is guaranteed to return the $k$-argmax of another vector, though doing so is crucial to describe Bayes optimality; we do both tasks. Then, we define top-$k$ calibration and show it is necessary and sufficient for consistency. Based on the top-$k$ calibration analysis, we propose a class of top-$k$ calibrated Bregman divergence surrogates. Our analysis continues by showing previously proposed hinge-like top-$k$ surrogate losses are not top-$k$ calibrated and suggests no convex hinge loss is top-$k$ calibrated. On the other hand, we propose a new hinge loss which is consistent. We explore further, showing our hinge loss remains consistent under a restriction to linear functions, while cross entropy does not. Finally, we exhibit a differentiable, convex loss function which is top-$k$ calibrated for specific $k$.

研究动机与目标

• 形式化代理损失在 top-k 分类中与真实 top-k 错误度量一致的条件。
• 阐明 top-k 保持性与 top-k 校准在实现 top-k 分类贝叶斯最优性中的根本作用。
• 解决广泛使用的 hingelike top-k 代理损失在理论上的不一致性问题。
• 为特定 k 值开发一类新的 top-k 校准、可微且凸的损失。
• 在受限函数类（尤其是线性预测器）下分析一致性，此时标准损失（如交叉熵）可能失效。

提出的方法

• 引入 top-k 校准作为 top-k 一致性的必要且充分条件，将其与评分器的 top-k 保持性联系起来。
• 基于校准条件定义了一类基于 Bregman 散度的 top-k 校准代理损失家族，确保一致性。
• 通过证明现有 hingelike top-k 损失不满足 top-k 校准（即使为凸），分析其不一致性。
• 提出一种新的非凸 hinge 损失，满足 top-k 校准，因此具有 top-k 一致性，尤其在在线性模型下表现优异。
• 通过反例证明，即使凸且可微的 top-k 校准损失，也不一定对 k' > k 的情况保持校准。
• 通过合成实验验证理论结论，比较不同损失在各种数据分布和 k 值下的性能。

实验结果

研究问题

• RQ1 在何种条件下，top-k 分类的代理损失与真实 top-k 错误一致？
• RQ2 为何标准凸 hingelike top-k 代理损失尽管广受欢迎，却无法保持一致？
• RQ3 能否构造一个对所有 k' ≤ k 均为 top-k 校准的凸且可微损失？对于 k' > k 的情况存在何种限制？
• RQ4 是否可能设计一种一致的 hinge 损失用于 top-k 分类？其与现有凸变体有何不同？
• RQ5 当模型受限于线性函数时，top-k 一致性表现如何？与交叉熵相比有何差异？

主要发现

• 所提出的基于 Bregman 散度的代理损失具有 top-k 校准性，因此具有 top-k 一致性，为现有方法提供了理论可靠的替代方案。
• 标准 hingelike top-k 代理损失不具备 top-k 校准性，且任何凸 hinge 损失均无法实现 top-k 校准，表明凸性与 top-k 一致性不相容。
• 构造了一种新的非凸 hinge 损失，具有 top-k 一致性，尤其在交叉熵失效的线性模型下表现优异。
• 在无限制设置下，交叉熵具有 top-k 一致性，但在线性模型限制下不一致，凸显其在实际部署中的关键局限性。
• 对于特定 k 值，存在凸且可微的 top-k 校准损失，但此类损失未必对更大的 k' > k 保持校准，反例已证明。
• 合成实验表明，所提出的损失函数（尤其是 ψ₄ 和 ψ₅）在分离和模糊数据分布下，均优于标准交叉熵及其他代理损失，在 top-5 准确率上表现更优。