[论文解读] Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss

Stephen Mussmann, Percy Liang|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Algorithms被引用 9

一句话总结

本文证明，在主动学习中，不确定性采样等价于对平滑版本的总体零一损失进行预条件随机梯度下降，解释了为何其在使用更少数据的情况下仍能收敛到比被动学习更低的测试误差。该方法隐式优化了非凸的零一损失，收敛至驻点，这解释了其在实践中成功与失败的原因。

ABSTRACT

Uncertainty sampling, a popular active learning algorithm, is used to reduce the amount of data required to learn a classifier, but it has been observed in practice to converge to different parameters depending on the initialization and sometimes to even better parameters than standard training on all the data. In this work, we give a theoretical explanation of this phenomenon, showing that uncertainty sampling on a convex loss can be interpreted as performing a preconditioned stochastic gradient step on a smoothed version of the population zero-one loss that converges to the population zero-one loss. Furthermore, uncertainty sampling moves in a descent direction and converges to stationary points of the smoothed population zero-one loss. Experiments on synthetic and real datasets support this connection.

研究动机与目标

• 解释不确定性采样为何能在使用更少数据的情况下实现比被动学习更低的泛化误差。
• 刻画不确定性采样在流式主动学习设置下的优化动态。
• 阐明为何不确定性采样尽管引入偏差，仍能收敛到比全数据训练更好的解。
• 形式化不确定性采样与非凸零一损失最小化之间的联系。

提出的方法

• 引入一种对总体零一损失的平滑近似，随着样本数量增加，该近似收敛于真实的零一损失。
• 表明不确定性采样（在当前数据上最小化凸代理损失）在平滑零一损失上执行预条件随机梯度步骤。
• 证明每个不确定性采样更新方向均为平滑零一损失的下降方向，除非处于驻点。
• 在较弱正则性条件下，证明不确定性采样收敛至平滑零一损失的驻点。
• 采用流式主动学习设置，其中样本根据不确定性（即最接近决策边界）选择，并迭代添加。
• 在合成数据和22个真实世界数据集上验证理论结论，显示不确定性采样动态与零一损失优化之间的一致性。

实验结果

研究问题

• RQ1 为何不确定性采样在某些情况下能比全数据集上的被动学习实现更低的测试误差？
• RQ2 不确定性采样隐式最小化的优化目标是什么？
• RQ3 主动采样引入的偏差如何影响收敛性和泛化性能？
• RQ4 不确定性采样能否被解释为一种预条件随机梯度下降形式？
• RQ5 为何不确定性采样有时会失败或收敛至较差的局部极小值？

主要发现

• 不确定性采样在数学上等价于对总体零一损失的平滑版本执行预条件随机梯度下降。
• 每个不确定性采样更新方向均为平滑零一损失的下降方向，除非参数接近驻点。
• 该方法收敛至平滑零一损失的驻点，解释了其倾向于找到低误差解的原因。
• 不确定性采样的成功源于对非凸零一损失的隐式优化，其可产生比最小化凸代理损失更好的泛化性能。
• 较差的初始化，尤其是小种子集，可能导致收敛至零一损失的较差局部极小值，解释了性能下降的原因。
• 在合成数据和真实世界数据集上的实证结果证实了不确定性采样与零一损失最小化之间的理论关联。