[论文解读] Understanding Uncertainty Sampling

Shang Liu, Xiaocheng Li|arXiv (Cornell University)|Jul 6, 2023

Machine Learning and Algorithms被引用 4

一句话总结

本文通过定义一种‘等效损失’，提出了一种用于主动学习中不确定性采样的一般性理论框架，该等效损失通过偏微分方程统一了各种不确定性度量。该工作建立了流式与池式主动学习的首个泛化界，证明了损失作为不确定性的最优性，并将不确定性采样与风险敏感型及分布鲁棒性目标相联系，为一种广泛应用但具有启发式性质的方法提供了理论基础。

ABSTRACT

Uncertainty sampling is a prevalent active learning algorithm that queries sequentially the annotations of data samples which the current prediction model is uncertain about. However, the usage of uncertainty sampling has been largely heuristic: (i) There is no consensus on the proper definition of "uncertainty" for a specific task under a specific loss; (ii) There is no theoretical guarantee that prescribes a standard protocol to implement the algorithm, for example, how to handle the sequentially arrived annotated data under the framework of optimization algorithms such as stochastic gradient descent. In this work, we systematically examine uncertainty sampling algorithms under both stream-based and pool-based active learning. We propose a notion of equivalent loss which depends on the used uncertainty measure and the original loss function and establish that an uncertainty sampling algorithm essentially optimizes against such an equivalent loss. The perspective verifies the properness of existing uncertainty measures from two aspects: surrogate property and loss convexity. Furthermore, we propose a new notion for designing uncertainty measures called extit{loss as uncertainty}. The idea is to use the conditional expected loss given the features as the uncertainty measure. Such an uncertainty measure has nice analytical properties and generality to cover both classification and regression problems, which enable us to provide the first generalization bound for uncertainty sampling algorithms under both stream-based and pool-based settings, in the full generality of the underlying model and problem. Lastly, we establish connections between certain variants of the uncertainty sampling algorithms with risk-sensitive objectives and distributional robustness, which can partly explain the advantage of uncertainty sampling algorithms when the sample size is small.

研究动机与目标

• 为解决不确定性采样这一广泛应用但具有启发式性质的主动学习策略所缺乏的理论理解问题。
• 通过等效损失的概念，将多种不确定性度量（如熵、间隔、最小置信度等）统一于单一理论视角之下。
• 提出一种通用、与问题无关的不确定性度量——‘损失作为不确定性’，适用于分类与回归任务。
• 为流式与池式主动学习中的不确定性采样推导出首个泛化界。
• 将不确定性采样与风险敏感型优化及分布鲁棒性相联系，解释其在小样本情况下的经验成功。

提出的方法

• 通过一个将原始损失与不确定性度量关联的偏微分方程，提出‘等效损失’的概念，表明不确定性采样实际上在优化由此导出的目标函数。
• 引入‘损失作为不确定性’——即以给定特征下的条件期望损失作为不确定性度量，该度量具有解析可处理性，并可泛化至各类任务。
• 证明不确定性采样算法等价于在经验数据分布下对期望等效损失目标执行随机梯度下降（SGD）更新。
• 通过分析SGD在等效损失目标上的收敛性，为流式与池式主动学习推导出泛化界。
• 利用KKT条件与分歧约束，证明优先选择高损失、高不确定性样本的采样策略为最优。
• 通过证明该方法在扰动下隐式最小化最坏情况风险，将不确定性采样与风险敏感型目标及分布鲁棒优化相联系。

实验结果

研究问题

• RQ1 我们如何在单一理论框架下正式定义并统一主动学习中使用的各种不确定性度量？
• RQ2 不确定性采样实际最小化的潜在优化目标是什么？
• RQ3 我们能否为流式与池式主动学习中的不确定性采样推导出泛化界？
• RQ4 为何不确定性采样在小样本情况下表现良好，尽管缺乏理论保证？
• RQ5 能否设计一种单一的不确定性度量，使其在分类与回归任务中均能一致适用？

主要发现

• 本文确立了不确定性采样实际上在优化通过原始损失与不确定性度量经由偏微分方程导出的‘等效损失’，为该方法提供了统一的理论基础。
• 所提出的‘损失作为不确定性’度量在数学上表现良好且可泛化至分类与回归任务，优于以往依赖具体场景的设计。
• 为流式与池式主动学习推导出泛化界，证明在最小假设下仍具有收敛性与数据效率。
• 该框架通过将其与风险敏感型及分布鲁棒优化目标相联系，解释了不确定性采样在小样本场景中经验成功的原因。
• 理论分析表明，在标准假设下，通过在等效损失上进行SGD的不确定性采样可实现$O(1/√{T})$的收敛速率。
• 最优采样策略（即优先选择条件期望损失最高的样本）被证明是满足KKT条件的约束优化问题的解。