[论文解读] The Extended Littlestone's Dimension for Learning with Mistakes and Abstentions

Chicheng Zhang, Kamalika Chaudhuri|arXiv (Cornell University)|Apr 21, 2016

Machine Learning and Algorithms参考文献 30被引用 6

一句话总结

本文引入了扩展的Littlestone维数（ELdim），这是一种新度量，用于刻画在线学习中弃权与错误之间的权衡。该文为有限和无限假设类提供了最优算法，在非可实现情况下于l-偏差假设下建立了紧致的上下界，并表明在k次错误和l-偏差下，弃权数量与(k+1)·e^{(2k+2)/(k+1−l−d)}成比例，推广了先前的KWIK风格框架。

ABSTRACT

This paper studies classification with an abstention option in the online setting. In this setting, examples arrive sequentially, the learner is given a hypothesis class $\mathcal H$, and the goal of the learner is to either predict a label on each example or abstain, while ensuring that it does not make more than a pre-specified number of mistakes when it does predict a label. Previous work on this problem has left open two main challenges. First, not much is known about the optimality of algorithms, and in particular, about what an optimal algorithmic strategy is for any individual hypothesis class. Second, while the realizable case has been studied, the more realistic non-realizable scenario is not well-understood. In this paper, we address both challenges. First, we provide a novel measure, called the Extended Littlestone's Dimension, which captures the number of abstentions needed to ensure a certain number of mistakes. Second, we explore the non-realizable case, and provide upper and lower bounds on the number of abstentions required by an algorithm to guarantee a specified number of mistakes.

研究动机与目标

• 为在线分类中带弃权的个体假设类缺乏算法最优性表征的问题提供解决方案。
• 填补理解非可实现情形的空白，即可实现性假设不成立的情形。
• 在有界错误与弃权约束下，为有限和无限假设类开发一种通用且最优的算法。
• 形式化一种新度量——扩展Littlestone维数，以捕捉错误与弃权之间的根本权衡。

提出的方法

• 提出扩展Littlestone维数（ELdim）作为组合度量，将Littlestone维数推广至包含弃权和有界错误的设置。
• 引入l-偏差假设，即真实标记函数与某个h ∈ H在至多l个样本上不一致，以建模非可实现情形。
• 设计一种新颖算法，利用ELdim指导弃权与预测决策，在固定弃权预算下最小化总错误数。
• 通过递归构造(l−1, m)-困难扩展错误树，推导出所需弃权数的下界。
• 采用信息论与组合论论证，界定学习者必须弃权或出错之前的轮数。
• 应用组合假设类（H₁·H₂）与指示函数的概念，以建模预测中的不确定性与分歧。

实验结果

研究问题

• RQ1 在给定假设类的在线学习中，错误数与弃权数之间的最优权衡是什么？
• RQ2 在非可实现情况下，为保证最多k次错误，所需最小弃权数如何表征？
• RQ3 l-偏差假设在实现对弃权与错误的非平凡界中起到什么作用？
• RQ4 扩展Littlestone维数能否用于为有限和无限假设类设计一种通用最优算法？
• RQ5 当真实标记函数不在假设类中时，所需最小弃权数是否有紧致表征？

主要发现

• 扩展Littlestone维数（ELdim）对在线学习中带弃权时保证最多k次错误所需的最小弃权数提供了紧致表征。
• 对于有限假设类H，任何有限弃权的算法在l-偏差假设下至少必须犯l次错误，表明该假设的必要性。
• 对于Littlestone维数为d的无限假设类，任何有限弃权算法在l-偏差假设下至少必须犯l + d次错误。
• 当k ≥ l + d时，弃权数的上界为(k+1)·e^{(2k+2)/(k+1−l−d)}，该界被证明在常数因子内是紧致的。
• 本文证明所提出的算法实现了错误与弃权之间的最优权衡，与通过扩展错误树推导出的下界一致。
• l-偏差假设被证明是必要的：若无此假设，任何有限弃权算法都无法保证错误数有界。