[论文解读] Multiclass learnability and the ERM principle

Amit Daniely, Sivan Sabato+2 more|arXiv (Cornell University)|Aug 13, 2013

Machine Learning and Algorithms参考文献 36被引用 42

一句话总结

本文表明，在多类学习中，并非所有经验风险最小化（ERM）算法具有相同的样本复杂度——某些 ERM 学习器可以学习某些假设类，而其他 ERM 学习器即使在该类可学习的情况下也会失败。关键贡献是利用 Natarajan 维数对对称多类假设类的样本复杂度进行了表征，展示了紧致的上下界，并提出了一种设计最优 ERM 学习器的原则。

ABSTRACT

We study the sample complexity of multiclass prediction in several learning settings. For the PAC setting our analysis reveals a surprising phenomenon: In sharp contrast to binary classification, we show that there exist multiclass hypothesis classes for which some Empirical Risk Minimizers (ERM learners) have lower sample complexity than others. Furthermore, there are classes that are learnable by some ERM learners, while other ERM learners will fail to learn them. We propose a principle for designing good ERM learners, and use this principle to prove tight bounds on the sample complexity of learning {\em symmetric} multiclass hypothesis classes---classes that are invariant under permutations of label names. We further provide a characterization of mistake and regret bounds for multiclass learning in the online setting and the bandit setting, using new generalizations of Littlestone's dimension.

研究动机与目标

• 研究在 PAC 设置下多类学习的样本复杂度，尤其关注不同 ERM 学习器的作用。
• 挑战长期以来认为一致收敛意味着可学习性，且所有 ERM 学习器在样本复杂度上等价的假设。
• 为在标签排列下不变的对称多类假设类提供样本复杂度的紧致表征。
• 将分析扩展到在线学习和 bandit 学习设置，推广 Littlestone 维数以适用于多类预测。
• 提出一种基于组合度量（如 Natarajan 维数和图维数）的系统性方法，用于选择具有最优样本复杂度的 ERM 学习器。

提出的方法

• 为 PAC、在线和 bandit 设置下的多类学习建立正式框架，区分全信息反馈与 bandit 反馈。
• 提出一种新的 ERM 学习器设计原则，以最小化样本复杂度，基于假设类的组合性质。
• 使用 Natarajan 维数作为关键度量，表征对称假设类的样本复杂度，证明了紧致的上下界。
• 将 Littlestone 维数推广至多类设置，以表征在线和 bandit 学习中的误分类次数和遗憾界。
• 分析图维数（上界）与 Natarajan 维数（下界）之间的差距，表明该差距对于 k 个类别可达到 Θ(ln k) 的量级。
• 采用基于归约的方法，将多类学习与二分类关联，并推导出不同学习模型间的泛化界。

实验结果

研究问题

• RQ1 对于同一多类假设类，不同的 ERM 学习器是否可能具有显著不同的样本复杂度？
• RQ2 在多类学习中，一致收敛是否等价于可学习性，如同在二分类中一样？
• RQ3 哪种组合度量能紧致表征对称多类假设类的样本复杂度？
• RQ4 如何将 Littlestone 维数推广以表征多类设置下的在线学习和 bandit 学习？
• RQ5 能否开发一种系统性方法，用于选择具有最优样本复杂度的 ERM 学习器？

主要发现

• 存在某些多类假设类，其中某些 ERM 学习器的样本复杂度低于其他 ERM 学习器，且某些 ERM 学习器会失败，而其他 ERM 学习器仍可学习这些可学习的类。
• 对于对称多类假设类，样本复杂度由 Natarajan 维数紧致表征，上下界仅相差常数因子。
• 图维数（上界）与 Natarajan 维数（下界）的比值可达到 Θ(ln k) 的量级，其中 k 为类别数。
• 在在线和 bandit 设置下，本文将 Littlestone 维数推广至多类学习，提供了对误分类次数和遗憾界的全新表征。
• 本文为可实现情况下的样本复杂度提供了新的上界，优于先前结果，并证明了其在对数因子范围内的紧致性。
• 作者推测，若使用非任意的 ERM 学习器，则对所有多类假设类，样本复杂度的一般界为 O((d_N ln(1/ε) + ln(1/δ))/ε)，但该界仅在非任意 ERM 学习器下成立。