[论文解读] N-ary Error Correcting Coding Scheme

Joey Tianyi Zhou, Ivor W. Tsang+2 more|arXiv (Cornell University)|Mar 18, 2016

Face and Expression Recognition参考文献 16被引用 4

一句话总结

该论文提出了一种N元错误校正输出编码（ECOC）方案，通过分治策略将多分类问题分解为分层的多分类子问题，从而实现更具区分性的编码，并增大编码之间的最小距离。该方法在二元和三元ECOC方案之上表现更优，尤其在细粒度和高类别数的数据集（如ALOI，1000类）上表现突出，最优N值位于[3,10]区间。

ABSTRACT

The coding matrix design plays a fundamental role in the prediction performance of the error correcting output codes (ECOC)-based multi-class task. {In many-class classification problems, e.g., fine-grained categorization, it is difficult to distinguish subtle between-class differences under existing coding schemes due to a limited choices of coding values.} In this paper, we investigate whether one can relax existing binary and ternary code design to $N$-ary code design to achieve better classification performance. {In particular, we present a novel $N$-ary coding scheme that decomposes the original multi-class problem into simpler multi-class subproblems, which is similar to applying a divide-and-conquer method.} The two main advantages of such a coding scheme are as follows: (i) the ability to construct more discriminative codes and (ii) the flexibility for the user to select the best $N$ for ECOC-based classification. We show empirically that the optimal $N$ (based on classification performance) lies in $[3, 10]$ with some trade-off in computational cost. Moreover, we provide theoretical insights on the dependency of the generalization error bound of an $N$-ary ECOC on the average base classifier generalization error and the minimum distance between any two codes constructed. Extensive experimental results on benchmark multi-class datasets show that the proposed coding scheme achieves superior prediction performance over the state-of-the-art coding methods.

研究动机与目标

• 解决现有二元和三元ECOC编码方案在处理细粒度和高维多分类问题时，类别间差异细微所带来的局限性。
• 克服传统ECOC中码值空间受限的问题，该问题限制了码之间的最小距离，降低了纠错能力。
• 使用户能够针对给定数据集灵活选择最优的N（码值数量），以最大化分类性能。
• 通过将多分类问题分层分解为更小的多分类子问题，构建具有更大最小距离的编码，从而提升ECOC的判别能力。
• 为N元ECOC提供一个独立于基分类器的理论化泛化误差界。

提出的方法

• 提出一种分层N元编码方案，通过递归地在每一层将原始多分类问题划分为更小的多分类子问题，类似于分治策略。
• 通过基于树的分解方式构建编码矩阵，将N元码（取值范围为0到N−1）分配给各类，其中每个内部节点将一个元类划分为N个子元类。
• 通过优化分层划分过程以最大化码间分离度，确保任意两行码之间的最小距离Δ_min(M)尽可能大。
• 采用与基分类器无关的泛化误差界，其依赖于平均基分类器错误率和最小码距，支持理论分析。
• 使用标准多分类分类器（如M-SVM、M-CART）在子问题上实现该方案，支持并行化和可扩展性。
• 通过实验评估为每个数据集选择最优N，平衡性能与计算成本。

实验结果

研究问题

• RQ1 将ECOC从二元和三元码扩展到N元码，是否能显著提升在细粒度和高类别数数据集上的分类性能？
• RQ2 在分类准确率方面，N元ECOC的最优N值是多少？其与计算成本之间如何权衡？
• RQ3 将多分类问题分层分解为更小的多分类子问题，是否相比传统二元或三元ECOC能产生更具判别性的码？
• RQ4 N元编码矩阵中码行之间的最小距离如何影响ECOC系统的泛化误差？
• RQ5 所提出的N元ECOC方案是否能在基准数据集上超越传统ECOC方法和直接的多分类分类算法？

主要发现

• 所提出的N元ECOC方案在基准数据集上实现了更优的分类性能，尤其在包含1000类的ALOI数据集上表现显著提升。
• 在ALOI数据集上，当N=5时，最小距离Δ_min(M)达到741，而二元和三元码的最小距离极小或为零，表明其可分性差。
• 最优N值在[3,10]范围内，实证结果表明在多个数据集上N元ECOC均持续优于二元和三元ECOC。
• 在Pendigits数据集上，即使整体准确率相近，N元ECOC仍显著降低了最大分类错误率，优于二元和三元码。
• 该方法显著提升了决策树分类器在高维数据集（如News20和Sector）上的性能，而直接的多分类决策树因结构复杂而失效。
• 推导出N元ECOC的泛化误差界，其依赖于平均基分类器错误率和最小码距，为性能提升提供了理论依据。