[论文解读] Multiclass Learning Approaches: A Theoretical Comparison with Implications

Amit Daniely, Sivan Sabato+1 more|arXiv (Cornell University)|May 29, 2012

Machine Learning and Algorithms参考文献 7被引用 15

一句话总结

本文通过使用VC理论分析近似误差与估计误差，对五种多类学习方法——一对多（One-vs-All）、全配对（All-Pairs）、基于树的分类器、纠错输出码（ECOC）和多类SVM——进行了理论比较。结果表明，多类SVM通常具有更低的近似误差，当样本量相对于维度和类别数量较大时更具优势，尤其在其他方法无法满足可实现性条件时表现更优。

ABSTRACT

We theoretically analyze and compare the following five popular multiclass classification methods: One vs. All, All Pairs, Tree-based classifiers, Error Correcting Output Codes (ECOC) with randomly generated code matrices, and Multiclass SVM. In the first four methods, the classification is based on a reduction to binary classification. We consider the case where the binary classifier comes from a class of VC dimension $d$, and in particular from the class of halfspaces over $\ eals^d$. We analyze both the estimation error and the approximation error of these methods. Our analysis reveals interesting conclusions of practical relevance, regarding the success of the different approaches under various conditions. Our proof technique employs tools from VC theory to analyze the \\emph{approximation error} of hypothesis classes. This is in sharp contrast to most, if not all, previous uses of VC theory, which only deal with estimation error.

研究动机与目标

• 对五种多类学习方法——一对多、全配对、基于树的分类器、使用随机码的ECOC和多类SVM——的近似误差与估计误差进行理论比较。
• 分析底层二元分类器（具体为VC维为d的半空间）的选择如何影响多类方法的性能。
• 基于近似误差与估计误差的分解，确定每种方法在何种条件下更具优势。
• 建立VC理论可用于分析近似误差的理论框架，这是其传统上仅用于估计误差分析的延伸应用。
• 基于数据集大小、维度和类别数量，提供方法选择的实际指导。

提出的方法

• 使用VC理论分析由多类约简方法所诱导的假设类的近似误差与估计误差。
• 采用一种新颖技术，通过构造有限有标签样本并利用标签映射上的一致收敛性论证来界定近似误差。
• 将Natarajan维数的概念推广，以对约简后假设类的复杂度进行下界估计，尤其适用于树结构和ECOC方法。
• 通过包含关系和复杂度度量（如诱导多类类的VC维）比较各方法的假设类。
• 推导在各种约简方式下，所得多类假设类的生长维数与Natarajan维数的上下界。
• 以R^d中半空间类的VC维为d+1作为基础情形，并将结果推广至任意VC维为d的类。

实验结果

研究问题

• RQ1 在相同的二元分类器假设下，一对多、全配对、基于树的分类器、ECOC和多类SVM的近似误差与估计误差如何比较？
• RQ2 在何种条件下，多类SVM在近似误差方面优于其他基于约简的方法？
• RQ3 VC理论能否在多类学习中被有意义地用于分析近似误差，而不仅限于其传统的估计误差分析用途？
• RQ4 在不同约简框架下，底层二元假设类的复杂度与最终多类假设类的复杂度之间存在何种关系？
• RQ5 类别数k和输入维度d如何影响这些方法在误差界上的相对性能？

主要发现

• 当训练样本量为Ω~(dk)时，由于近似误差更低，多类SVM优于一对多和基于树的分类器。
• 在可实现情形（近似误差为零）下，多类SVM即使在一对多和基于树的分类器无法实现时，也能实现完美分类，这是由于假设类之间存在严格包含关系。
• 当k > d时，使用随机树的基于树的分类器或使用随机码的ECOC方法会导致较高的近似误差，因此强烈不推荐使用。
• 当样本量超过Ω~(dk²)时，全配对方法因估计误差特性更优而成为更优选择。
• 在二维设置下，9个类别按圆形排列时，多类SVM和一对多方法可实现零近似误差，而基于树的分类器和使用随机码的ECOC方法通常无法实现。
• 即使在低维设置中（例如d=2），当类别在所需成对配置下不可线性可分时，一对多方法也可能无法实现零近似误差，而多类SVM则可以。