[论文解读] Noise-adaptive Margin-based Active Learning for Multi-dimensional Data.

Yining Wang, Aarti Singh|arXiv (Cornell University)|Jun 20, 2014

Machine Learning and Algorithms参考文献 15被引用 3

一句话总结

本文提出了一种针对多维数据的噪声自适应边缘主动学习算法，能够动态适应未知的标签噪声水平。该算法在查询预算 T 和维度 d 上实现了最优收敛速率，同时支持铰链损失和逻辑损失函数，以提升计算效率和对 0-1 损失以外的鲁棒性。

ABSTRACT

We present and analyze an adaptive margin-based algorithm that actively learns the optimal linear separator for multi-dimensional data. The algorithm has the capacity of adapting to unknown level of label noise in the underlying distribution, making it suitable for model selection under the active learning setting. Compared to other alternative agnostic active learning algorithms, our proposed method is much simpler and achieves the optimal convergence rate in query budget T and data dimension d, if logarithm factors are ignored. Furthermore, our algorithm can handle classification loss functions other than the 0-1 loss, such as hinge and logistic loss, and hence is computationally feasible.

研究动机与目标

• 解决高维数据主动学习中的标签噪声问题。
• 开发一种简单但最优的主动学习算法，可自适应未知噪声水平。
• 将适用范围扩展至 0-1 损失以外的计算可行损失函数，如铰链损失和逻辑损失。
• 在查询预算和数据维度上实现最优收敛速率（忽略对数因子）。

提出的方法

• 该算法采用基于边缘的策略，选择靠近决策边界的有信息量样本进行标注。
• 根据标签分布中估计的噪声水平，自适应地调整其边缘。
• 该方法被设计为在查询预算 T 和数据维度 d 上均保持最优收敛速率。
• 支持多种分类损失函数，包括铰链损失和逻辑损失，从而增强计算可行性。
• 在主动学习循环中集成噪声自适应机制，而无需事先知晓噪声水平。

实验结果

研究问题

• RQ1 在多维数据中存在未知标签噪声的情况下，主动学习算法如何维持最优收敛速率？
• RQ2 能否使基于边缘的主动学习方法自适应不同噪声水平，而无需事先估计噪声？
• RQ3 该算法在多大程度上可泛化至其他可微损失函数（如铰链损失和逻辑损失），而不仅限于 0-1 损失？
• RQ4 该方法在查询预算和数据维度方面的理论收敛行为如何？

主要发现

• 所提出的算法在查询预算 T 和数据维度 d 上实现了最优收敛速率（忽略对数因子）。
• 通过动态调整其边缘，该算法在未知标签噪声下仍能保持鲁棒性能。
• 该方法支持铰链损失和逻辑损失函数，从而实现高效且可扩展的训练。
• 与现有无害主动学习算法相比，该方法显著更简单，同时保留了最优理论保证。