[论文解读] S2: An Efficient Graph Based Active Learning Algorithm with Application to Nonparametric Classification

Gautam Dasarathy, Robert D. Nowak+1 more|arXiv (Cornell University)|Jun 29, 2015

Machine Learning and Algorithms参考文献 16被引用 11

一句话总结

本文提出S²，一种新颖的基于图的主动学习算法，通过识别任意一对反向标记顶点之间最短路径的中点来选择未标记顶点进行标注。S²在决策边界属于盒计数类的非参数分类问题中实现了近乎极小化最大风险（near-minimax optimal excess risk），兼具强大的理论保证与在真实和合成数据集上的实际性能。

ABSTRACT

This paper investigates the problem of active learning for binary label prediction on a graph. We introduce a simple and label-efficient algorithm called S2 for this task. At each step, S2 selects the vertex to be labeled based on the structure of the graph and all previously gathered labels. Specifically, S2 queries for the label of the vertex that bisects the *shortest shortest* path between any pair of oppositely labeled vertices. We present a theoretical estimate of the number of queries S2 needs in terms of a novel parametrization of the complexity of binary functions on graphs. We also present experimental results demonstrating the performance of S2 on both real and synthetic data. While other graph-based active learning algorithms have shown promise in practice, our algorithm is the first with both good performance and theoretical guarantees. Finally, we demonstrate the implications of the S2 algorithm to the theory of nonparametric active learning. In particular, we show that S2 achieves near minimax optimal excess risk for an important class of nonparametric classification problems.

研究动机与目标

• 为解决在图上进行二元标签预测的主动学习中降低查询成本的挑战，其中标注成本昂贵。
• 开发一种兼具理论性能保证与强大实证结果的实用主动学习算法。
• 弥合理论上最优但不切实际的主动学习方法与像Zhu等人（2003b）那样实证有效但缺乏保证的方法之间的差距。
• 引入一种新的复杂度度量，以捕捉在图上学习割集的内在难度，而不仅限于割的大小。
• 证明S²在广泛的非参数分类问题类别中实现了近乎极小化最大风险的过失风险。

提出的方法

• S²将待标注的顶点选择为图中任意一对反向标记顶点之间最短路径的中点。
• 该算法动态适应图的结构和不断演化的标注模式，聚焦于决策边界最不确定的区域。
• 它采用一种基于割集聚类与分布的新型复杂度参数化方法，以量化学习边界的难度。
• 理论分析利用该复杂度度量界定了S²所需的查询次数，表明在正则性条件下具有查询效率。
• 该方法利用最短路径计算与图遍历，高效识别具有信息量的顶点，而无需事先知晓完整标注。
• 该算法被应用于合成网格和真实世界数据（数字、投票记录），通过覆盖边界集所需的查询次数评估性能。

实验结果

研究问题

• RQ1 基于图的主动学习算法能否同时实现强大的实证性能与理论查询复杂度保证？
• RQ2 割集的聚类特性如何影响在图上学习二元标注的难度？
• RQ3 一种实用的主动学习算法能否在非参数分类问题中实现近乎极小化最大风险的过失风险？
• RQ4 在真实和合成图上，S²与现有方法（如AFS、ZLG和BND）相比，查询效率如何？
• RQ5 决策边界的几何结构与学习它所需的查询次数之间存在何种关系？

主要发现

• 在所有测试数据集上，S²在查询复杂度方面显著优于AFS和BND，包括15×15网格和真实世界数据（如数字和投票记录）。
• 在15×15网格图上，S²平均仅需88.8次查询即可覆盖边界，而AFS为160.4次，BND为192次。
• 在400个节点的4 vs 9数字分类任务中，S²仅需96.4次查询，优于AFS（223.2次）和BND（370.2次）。
• 在高边界大小的457核网格中，S²仅需290.6次查询，略优于ZLG（292.3次），尽管ZLG并非为此目标而设计。
• 理论分析表明，S²的过失风险最多为$ C\left(\frac{\log n}{n}\right)^{\frac{1}{d-1}} $，这在盒计数类决策边界中为近乎极小化最大风险。
• S²是首个实现非参数分类中极小化最大风险（至对数因子）的实用算法，其决策边界属于盒计数类。