[论文解读] Set-valued classification -- overview via a unified framework

Evgenii Chzhen, Christophe Denis+2 more|arXiv (Cornell University)|Feb 24, 2021

Machine Learning and Data Classification参考文献 38被引用 13

一句话总结

本文提出了一套统一的统计框架用于集合值分类，通过建模预测误差与集合大小之间的权衡，整合并扩展了现有方法。该框架利用约束优化推导出无限样本下的最优策略，并提出一种即插即用原则以构建数据驱动的算法，实验验证了其在 ImageNet 等真实数据集上的有效性。

ABSTRACT

Multi-class classification problem is among the most popular and well-studied statistical frameworks. Modern multi-class datasets can be extremely ambiguous and single-output predictions fail to deliver satisfactory performance. By allowing predictors to predict a set of label candidates, set-valued classification offers a natural way to deal with this ambiguity. Several formulations of set-valued classification are available in the literature and each of them leads to different prediction strategies. The present survey aims to review popular formulations using a unified statistical framework. The proposed framework encompasses previously considered and leads to new formulations as well as it allows to understand underlying trade-offs of each formulation. We provide infinite sample optimal set-valued classification strategies and review a general plug-in principle to construct data-driven algorithms. The exposition is supported by examples and pointers to both theoretical and practical contributions. Finally, we provide experiments on real-world datasets comparing these approaches in practice and providing general practical guidelines.

研究动机与目标

• 解决现代多分类数据集中高模糊性问题，其中单输出预测因固有的类别不确定性而失效。
• 在单一统计框架下统一多种集合值分类形式，以阐明其内在权衡关系与相互联系。
• 通过在误差率与集合大小上进行约束优化，推导出无限样本设置下的理论最优集合值分类器。
• 提出一种通用的即插即用原则，用于从统一框架中构建数据驱动算法。
• 为真实数据集（如 ImageNet 和 MNIST）上的不同形式提供实用指导与实证比较。

提出的方法

• 将集合值分类形式化为从输入空间 𝒳 到幂集 2^[L] 的映射，其中 L 为类别数。
• 引入统一的优化框架，通过拉格朗日松弛法平衡期望误差率 P(Y ∉ Γ(X)) 与期望集合大小 E[|Γ(X)|]。
• 通过求解对偶问题的 KKT 条件，推导出最优无限样本分类器，其解以预测概率累积分布函数的广义逆形式表达。
• 提出一种即插即用方法，通过估计预测类别概率的经验分布来构造数据驱动算法。
• 定义关键组件如 top-k 选择与基于置信度的过滤（Γ*ϵ(X)），以在条件约束下控制误差与集合大小。
• 基于概率分布的连续性与单调性假设，确保最优解的存在性与唯一性。

实验结果

研究问题

• RQ1 如何在单一统计框架下统一多种集合值分类形式，以阐明其权衡关系？
• RQ2 在平衡误差率与集合大小的前提下，无限样本设置下的理论最优集合值分类器是什么？
• RQ3 如何通过即插即用原则系统地从统一框架中推导出数据驱动算法？
• RQ4 在实际应用中，不同形式的性能表现如何，特别是在真实数据集中的高模糊性场景下？
• RQ5 通过比较不同形式在误差控制、集合大小与信息量方面的表现，可得出哪些实用指导？

主要发现

• 统一框架成功涵盖并推广了现有形式（如 top-k 与基于置信度的集合选择），揭示了其共享结构与差异。
• 通过拉格朗日对偶性推导出最优无限样本集合值分类器，其解依赖于累积概率函数 G_k(λ) 的广义逆。
• 对于 top-k 形式，最优策略等价于选择概率最高的 k 个类别，且该解在统一框架下被证明为最优。
• 当控制条件误差率 P(Y ∉ Γ(X) | X) ≤ ε 时，最优分类器结合了 top-k 选择与基于 λ 的阈值规则，确保同时满足误差与集合大小的控制。
• 理论分析证实，最优解满足互补松弛性，且可通过在单调函数（如 H_ε(t)）上进行根求解来计算。
• 在真实数据集上的实证评估表明，在高模糊性场景下，允许集合大小可变的形式（如基于置信度）优于固定大小的 top-k 策略，尤其在 ImageNet 上表现更优。