[论文解读] Solving Multiclass Learning Problems via Error-Correcting Output Codes

Tom Dietterich, Ghulum Bakiri|arXiv (Cornell University)|Jan 1, 1995

Machine Learning and Algorithms参考文献 1被引用 10

一句话总结

本文提出了一种新颖的多类学习方法——错误校正输出编码（ECOC），通过将类别标签编码为二进制码，使二分类器能够学习复杂的多类区分。该方法在传统方法（如C4.5和反向传播）的基础上显著提升了泛化性能，同时对训练规模、编码分配和过拟合技术具有鲁棒性。

ABSTRACT

Multiclass learning problems involve finding a definition for an unknown function f(x) whose range is a discrete set containing k &gt 2 values (i.e., k ``classes''). The definition is acquired by studying collections of training examples of the form [x_i, f (x_i)]. Existing approaches to multiclass learning problems include direct application of multiclass algorithms such as the decision-tree algorithms C4.5 and CART, application of binary concept learning algorithms to learn individual binary functions for each of the k classes, and application of binary concept learning algorithms with distributed output representations. This paper compares these three approaches to a new technique in which error-correcting codes are employed as a distributed output representation. We show that these output representations improve the generalization performance of both C4.5 and backpropagation on a wide range of multiclass learning tasks. We also demonstrate that this approach is robust with respect to changes in the size of the training sample, the assignment of distributed representations to particular classes, and the application of overfitting avoidance techniques such as decision-tree pruning. Finally, we show that---like the other methods---the error-correcting code technique can provide reliable class probability estimates. Taken together, these results demonstrate that error-correcting output codes provide a general-purpose method for improving the performance of inductive learning programs on multiclass problems.

研究动机与目标

• 解决目标函数将输入映射到k ≥ 2个离散类的多类学习挑战。
• 克服直接多类算法（如C4.5、CART）以及标准二分类方法在多类设置下的局限性。
• 通过基于错误校正码的分布式输出表示，提升多类学习中的泛化能力和鲁棒性。
• 证明ECOC能够可靠地估计类别概率，适合实际部署。

提出的方法

• 将k个类别中的每一个用长度为m的唯一二进制码字表示，其中m ≥ log₂k，使用错误校正码。
• 训练m个二分类器，每个分类器负责区分在码字特定位上为'1'与'0'的类别。
• 通过m个二分类输出的多数投票进行解码，若部分分类器出错仍具备错误校正能力。
• 应用标准二分类学习算法（如C4.5、反向传播）在变换后的训练数据上训练每个二分类器。
• 确保码设计使码字之间的汉明距离最大化，以增强错误校正能力和泛化性能。
• 使用解码规则，选择与输出向量汉明距离最近的码字所对应的类别作为最终预测。

实验结果

研究问题

• RQ1 与标准方法相比，错误校正输出编码能否提升多类学习算法的泛化性能？
• RQ2 ECOC方法对训练集规模、编码分配和过拟合缓解技术的变化有多大的鲁棒性？
• RQ3 ECOC能否为多类预测提供可靠的概率估计，其性能可与其它方法相媲美？
• RQ4 通过错误校正码实现的分布式二进制表示是否优于一对多或一对一策略？
• RQ5 ECOC框架是否与多种基础学习算法兼容，包括决策树和神经网络？

主要发现

• ECOC在多种多类任务中显著提升了C4.5和反向传播的泛化性能。
• 该方法对训练样本规模的变化具有鲁棒性，在不同数据规模下均表现出一致的性能。
• 在不同类别到码字的分配方式下性能保持稳定，表明其对码设计不敏感。
• 当结合过拟合避免技术（如决策树剪枝）时，ECOC仍保持优异性能。
• 该方法能可靠地生成类别概率估计，其质量与标准多类方法相当。
• 错误校正码为提升多类问题上的归纳学习提供了一种通用且高效的方法。