[论文解读] Solving for multi-class: a survey and synthesis

Peter Mills|arXiv (Cornell University)|Sep 16, 2018

Face and Expression Recognition参考文献 29被引用 4

一句话总结

本文提出一种递归控制语言，用于系统性地描述和合成多分类分类策略，使用SVM在八个数据集上评估了八种划分方法。主要发现为：一对其余（one-vs.-one）通常表现最佳，但针对特定数据的配置——尤其是有序类别下的相邻划分——可使不确定性系数提高最多36%（绝对提升0.016），表明数据驱动设计优于通用统一方法。

ABSTRACT

Many of the best statistical classification algorithms are binary classifiers that can only distinguish between one of two classes. The number of possible ways of generalizing binary classification to multi-class increases exponentially with the number of classes. There is some indication that the best method will depend on the dataset. Hence, we are particularly interested in data-driven solution design, whether based on prior considerations or on empirical examination of the data. Here we demonstrate how a recursive control language can be used to describe a multitude of different partitioning strategies in multi-class classification, including those in most common use. We use it both to manually construct new partitioning configurations as well as to examine those that have been automatically designed. Eight different strategies were tested on eight different datasets using a support vector machine (SVM) as the base binary classifier. Numerical results suggest that a one-size-fits-all solution consisting of one-versus-one is appropriate for most datasets. Three datasets showed better accuracy using different methods. The best solution for the most improved dataset exploited a property of the data to produce an uncertainty coefficient 36\% higher (0.016 absolute gain) than one-vs.-one. For the same dataset, an adaptive solution that empirically examined the data was also more accurate than one-vs.-one while being faster.

研究动机与目标

• 解决当二元分类器仅能处理二分类决策时，如何选择最优多分类分类策略的挑战。
• 构建一个统一框架，用于描述多分类分类中多样的划分策略。
• 通过实证评估不同划分方法对分类准确率、概率估计和计算效率的影响。
• 识别在何种条件下，数据特定或自适应配置优于标准方法（如一对其余）。

提出的方法

• 引入一种递归控制语言，以形式化描述类别划分策略，包括一对其余、一对其余、以及自定义决策树。
• 该框架同时建模训练阶段（类别标签映射到±1）和解码阶段（从二元输出重构多类别概率）。
• 通过约束线性最小二乘法估计多类别条件概率，确保与概率理论一致。
• 该方法支持非分层（如一对其余）和分层配置，通过最小二乘法求解纠错码中的概率。
• 实证评估采用SVM作为基础二元分类器，通过逻辑回归对决策函数进行概率校准。
• 通过分析数据结构（如识别离散化连续变量的类别顺序）生成自适应设计。

实验结果

研究问题

• RQ1 统一的控制语言是否能有效描述并生成多样化的多分类分类策略？
• RQ2 一招鲜的通用方法（如一对其余）是否在所有数据集中均保持最优，还是数据特定配置能带来显著提升？
• RQ3 数据驱动的划分策略（如有序类别的相邻分组）在多大程度上能提升分类准确率和概率估计？
• RQ4 在准确率和计算成本方面，分层与非分层配置如何比较？
• RQ5 基于经验设计的自适应决策树是否能优于固定或任意结构的树形结构？

主要发现

• 一对其余在大多数数据集中始终优于其他标准方法，证实其作为默认策略的稳健性。
• 在湿度数据集（类别代表离散化连续值）中，相邻划分使不确定性系数比一对其余高出36%（绝对提升0.016）。
• 针对同一湿度数据集的自适应、数据驱动解决方案在提升准确率的同时还更快速，证明了经验配置的优势。
• 城市数据集在相邻划分下表现更优，表明其存在可被利用的类别顺序，可能在其他数据集中也适用。
• 基于经验设计的决策树提升了准确率并减少了训练和推理时间，尽管性能在不同数据集间有所差异。
• 非分层的最小二乘法求解纠错码略优于递归分层解码，可能由于信息保留更充分。