[论文解读] The Power of Comparisons for Actively Learning Linear Classifiers

Max Hopkins, Daniel M. Kane+1 more|arXiv (Cornell University)|Jul 8, 2019

Machine Learning and Algorithms参考文献 40被引用 5

一句话总结

本文证明，在弱分布假设下，比较查询——即询问两点中哪一点更可能是正样本——能够使非齐次线性分类器的主动学习效率实现指数级提升。研究表明，借助比较查询，标准PAC学习与更严格的可靠且可能有用（RPU）学习模型均能实现近乎最优的样本复杂度与查询复杂度，从而克服了仅使用标签时先前存在的指数级下界。

ABSTRACT

In the world of big data, large but costly to label datasets dominate many fields. Active learning, a semi-supervised alternative to the standard PAC-learning model, was introduced to explore whether adaptive labeling could learn concepts with exponentially fewer labeled samples. While previous results show that active learning performs no better than its supervised alternative for important concept classes such as linear separators, we show that by adding weak distributional assumptions and allowing comparison queries, active learning requires exponentially fewer samples. Further, we show that these results hold as well for a stronger model of learning called Reliable and Probably Useful (RPU) learning. In this model, our learner is not allowed to make mistakes, but may instead answer "I don't know." While previous negative results showed this model to have intractably large sample complexity for label queries, we show that comparison queries make RPU-learning at worst logarithmically more expensive in both the passive and active regimes.

研究动机与目标

• 克服在一般分布下非齐次线性分类器主动学习中的指数级查询复杂度障碍。
• 将比较查询的威力从齐次情形扩展至非齐次线性分类器。
• 证明在温和分布条件下，比较查询可使RPU学习——即禁止错误但允许‘我不知道’响应——在实践中可行。
• 引入并分析平均推理维数这一概念，作为主动学习与被动学习在分布依赖条件下的复杂度度量。
• 弥合理论学习模型与实际应用场景之间的鸿沟，尤其在标注成本高昂但比较可行的场景中。

提出的方法

• 引入一种新的复杂度度量——平均推理维数，该度量将KLMZ的推理维数扩展至分布依赖设定。
• 通过平均推理维数的结构分析，界定使用比较查询的主动RPU学习的样本复杂度与查询复杂度。
• 利用数据分布上的弱集中与反集中不等式，确保比较查询能提供信息性反馈。
• 将最坏情况推理维数的归约转化为平均情况，表明典型样本能保留完整分布的学习能力。
• 运用凸几何与线性规划技术，分析比较查询带来的信息增益。
• 将先前针对等分布与s-凹分布的结果扩展至一般s-凹分布与对数凹分布，且假设条件最小化。

实验结果

研究问题

• RQ1 比较查询能否克服非齐次线性分类器主动学习中的指数级查询复杂度障碍？
• RQ2 在禁止错误但允许‘我不知道’响应的RPU学习模型中，比较查询是否使其变得可计算？
• RQ3 平均推理维数能否用于刻画在分布假设下主动学习与被动学习的样本复杂度？
• RQ4 添加比较查询如何影响RPU学习中样本复杂度与查询复杂度之间的权衡？
• RQ5 平均推理维数框架能否扩展至高阶相对查询，如2-局部或3-局部比较？

主要发现

• 在弱分布假设下，比较查询将非齐次线性分类器的查询复杂度从指数级降低至对数级。
• 对于RPU学习，比较查询使样本复杂度最多比PAC学习大对数级别，实现近乎最优性能。
• 分布的平均推理维数决定了主动RPU学习的样本复杂度与查询复杂度，其界为 $ Oig(rac{ ext{polylog}(1/
  )}{
  } ext{polylog}(1/
  )ig) $。
• 图3中的左图展示了在三维空间中基于标签与基于比较的查询复杂度之间存在指数级差距，验证了理论优势。
• 图3中的右图证实，使用比较查询的Perfect-Learning在维度上的扩展近乎线性，支持理论结论。
• 本文证明，若其平均推理维数有界于 $ 2^{-\tilde{O}(n^3)} $，则3-局部查询——例如‘$ x_1 $ 更接近 $ x_2 $ 还是 $ x_3 $？’——可提供更强的保证。