[论文解读] Robust Interactive Learning

Maria-Florina Balcan, Steve Hanneke|arXiv (Cornell University)|Nov 6, 2011

Machine Learning and Algorithms参考文献 2被引用 3

一句话总结

本文引入并分析了类别条件查询——即算法从给定集合中请求特定标签的一个示例——作为标准主动学习的推广。它在对抗性噪声和有界噪声设置下提供了近乎紧致的查询复杂度界，显示出与噪声率相关的因子减少，并展示了对未知噪声率的自适应能力，且代价极低。

ABSTRACT

In this paper we propose and study a generalization of the standard active-learning model where a more general type of query, class conditional query, is allowed. Such queries have been quite useful in applications, but have been lacking theoretical understanding. In this work, we characterize the power of such queries under two well-known noise models. We give nearly tight upper and lower bounds on the number of queries needed to learn both for the general agnostic setting and for the bounded noise model. We further show that our methods can be made adaptive to the (unknown) noise rate, with only negligible loss in query complexity.

研究动机与目标

• 正式化并分析在噪声数据下类别条件查询在主动学习中的能力。
• 通过此类查询类型表征在对抗性模型和有界噪声模型下学习的查询复杂度。
• 表明该方法可对未知噪声率实现自适应，且效率损失可忽略不计。
• 为超越标准标签查询的交互式学习模型建立理论基础。

提出的方法

• 提出一种查询模型，允许在未标记数据的子集中请求具有指定标签的任意示例。
• 在两种噪声模型下分析查询复杂度：一般对抗性模型和有界噪声模型。
• 使用Natarajan维数表征概念类的复杂度。
• 应用分裂指数框架（Dasgupta, 2005）将查询复杂度与示例的信息量联系起来。
• 开发利用Find-Mistake预言机的算法，以高效识别误分类的示例。
• 通过与主动学习中已知结果的约化关系，建立上界和下界。

实验结果

研究问题

• RQ1 在噪声环境下，类别条件查询的查询复杂度与标准主动学习相比如何？
• RQ2 在对抗性设置和有界噪声设置下，类别条件查询的理论能力是什么？
• RQ3 使用类别条件查询的算法能否在不显著损失效率的情况下适应未知噪声率？
• RQ4 在存在噪声的情况下，达到给定误差率所需的最少查询数是多少？

主要发现

• 在对抗性设置下，噪声率为η时，查询复杂度为Ω(dη²/ǫ²)和˜O(dη²/ǫ²)，相比被动学习减少了η倍因子。
• 在有界噪声模型中，查询复杂度相比标准主动学习减少了与噪声界α成正比的因子。
• 所提出的方法对未知噪声率具有自适应能力，且查询复杂度仅产生可忽略的损失。
• 对于区间分类器在[0,1]上，类别条件查询的查询复杂度为Ω(α/ǫ)，与下界常数因子匹配。
• 理论界表明，类别条件查询在噪声环境下相比主动学习具有持续的改进优势。
• 结果可推广至相关查询类型，如基于样本的等价查询，仅产生k倍的损失。