[论文解读] Statistical Active Learning Algorithms

Maria-Florina Balcan, Vitaly Feldman|arXiv (Cornell University)|Jul 11, 2013

Machine Learning and Algorithms参考文献 36被引用 8

一句话总结

本文提出了一种统计主动学习框架，通过利用统计查询，在存在随机分类噪声的情况下实现了噪声容错。该框架实现了高效、主动学习的概念类——如阈值、矩形和线性分类器——相较于被动学习实现了指数级的标签节省，并在标签复杂度中实现了对 1/(1−2η) 的最优二次依赖关系，其中 η 为噪声率。

ABSTRACT

We describe a framework for designing efficient active learning algorithms that are tolerant to random classification noise. The framework is based on active learning algorithms that are statistical in the sense that they rely on estimates of expectations of functions of filtered random examples. It builds on the powerful statistical query framework of Kearns [Kea98]. We show that any efficient active statistical learning algorithm can be automatically converted to an efficient active learning algorithm which is tolerant to random classification noise as well as other forms of “uncorrelated ” noise. The complexity of the resulting algorithms has information-theoretically optimal quadratic dependence on 1/(1−2η), where η is the noise rate. We demonstrate the power of our framework by showing that commonly studied concept classes including thresholds, rectangles, and linear separators can be efficiently actively learned in our framework. These results combined with our generic conversion lead to the first known computationally-efficient algorithms for actively learning some of these concept classes in the presence of random classification noise that provide exponential improvement in the dependence on the error ǫ over their passive counterparts. In addition, we show that our algorithms can be automatically converted to efficient active differentially-private algorithms. This leads to the first differentially-private active learning algorithms with exponential label savings over the passive case. 1

研究动机与目标

• 设计对随机分类噪声具有鲁棒性的主动学习算法，同时保持计算效率。
• 建立一种通用的转换方法，将任何高效的主动统计学习算法转化为具有噪声容错能力的版本。
• 在标签复杂度中实现对噪声率 1/(1−2η) 的信息论最优依赖关系。
• 将该框架扩展至支持差分隐私的主动学习，相较于被动方法实现指数级改进。

提出的方法

• 该框架基于统计查询（SQ）方法，通过估计过滤后随机样本上函数的期望值。
• 利用 Kearns [Kea98] 提出的统计查询框架，构建对不相关噪声具有内在鲁棒性的主动学习算法。
• 核心机制涉及对已标注样本的统计特性进行过滤和估计，以降低噪声影响。
• 该框架可自动将任何高效的主动统计学习算法转换为具有噪声容错能力的变体。
• 它引入了对标签复杂度的正式化表达，其对 1/(1−2η) 的依赖关系为二次方，与信息论下界一致。
• 该方法通过集成隐私保护的统计估计器，支持自动适应差分隐私。

实验结果

研究问题

• RQ1 能否在保持计算效率的前提下，使主动学习算法对随机分类噪声具有鲁棒性？
• RQ2 在主动学习中，标签复杂度对噪声率 η 的最优依赖关系是什么？
• RQ3 统计查询框架能否扩展以支持具有噪声容错能力和差分隐私的主动学习？
• RQ4 像阈值和线性分类器这样的常见概念类是否能在噪声环境下实现高效的主动学习？
• RQ5 该框架能否在噪声环境中实现相较于被动学习的指数级标签效率提升？

主要发现

• 该框架实现了信息论最优的标签复杂度，其对 1/(1−2η) 的依赖关系为二次方，其中 η 为噪声率。
• 像阈值、矩形和线性分类器这样的常见概念类，可在随机分类噪声存在的情况下被高效地主动学习。
• 由此产生的算法在这些概念类上相较于被动学习实现了指数级的标签复杂度改进。
• 该框架可自动转换为差分隐私的主动学习算法，并在标签复杂度上实现相较于被动私有学习的指数级节省。
• 所提出的方法在保持计算效率和基于统计查询的设计原则的同时，对不相关噪声具有鲁棒性。