[论文解读] Online Learning of Noisy Data with Kernels

Nicolò Cesa‐Bianchi, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|May 13, 2010

Machine Learning and Algorithms参考文献 10被引用 5

一句话总结

本文提出了一种新型在线学习算法，用于在对抗性噪声下进行基于核的预测器学习，其中每个实例均受到均值为零、方差有界的噪声污染，且噪声分布未知并随时间变化。通过使用查询多个实例噪声副本的随机无偏估计器，该方法在任意内积核或高斯核空间中，对任意解析凸损失函数均实现了次线性遗憾，同时证明仅使用每个实例的一个噪声副本时，学习在根本上是不可能的。

ABSTRACT

We study online learning when individual instances are corrupted by adversarially chosen random noise. We assume the noise distribution is unknown, and may change over time with no restriction other than having zero mean and bounded variance. Our technique relies on a family of unbiased estimators for non-linear functions, which may be of independent interest. We show that a variant of online gradient descent can learn functions in any dot-product (e.g., polynomial) or Gaussian kernel space with any analytic convex loss function. Our variant uses randomized estimates that need to query a random number of noisy copies of each instance, where with high probability this number is upper bounded by a constant. Allowing such multiple queries cannot be avoided: Indeed, we show that online learning is in general impossible when only one noisy copy of each instance can be accessed.

研究动机与目标

• 解决在具有未知分布和有界方差的对抗性独立同分布噪声存在下的在线学习问题。
• 在训练实例受噪声污染的情况下，为再生核希尔伯特空间（RKHS）中的学习建立一个通用框架。
• 证明当每个实例仅提供一个噪声副本时，即使对于简单的凸损失函数，在线学习也是不可能的。
• 设计一种在线梯度下降的变体，利用随机无偏估计器，在存在噪声观测的情况下实现低遗憾。
• 在对噪声假设最少的前提下，建立遗憾和查询复杂度的理论边界。

提出的方法

• 该方法使用一种随机估计器，通过查询每个实例的随机数量独立扰动副本，以计算核值和损失梯度的无偏估计。
• 它采用一族无偏估计器用于非线性函数，即使在噪声分布未知且随时间变化的情况下，也能实现一致估计。
• 该算法将修改后的在线梯度下降与这些随机估计结合，确保在任意解析凸损失函数下收敛。
• 每个实例的查询次数在期望值和高概率下均被有界为常数，避免了对样本平均的依赖。
• 该方法可扩展至任意内积核（如多项式核）或高斯核，且依赖于RKHS和核技巧的结构。
• 一个关键技术组件是使用随机停止规则，以控制查询复杂度，同时保持低方差估计。

实验结果

研究问题

• RQ1 当训练实例受到具有未知、时变分布的对抗性噪声污染时，能否实现在线学习？
• RQ2 当仅能获得实例的噪声、污染版本时，能否在核空间（如RKHS）中实现学习？
• RQ3 在在线设置中，每个实例所需的最少噪声副本数量是多少才能实现成功学习？
• RQ4 能否在一般噪声假设下，为核值和损失梯度构造无偏估计器？
• RQ5 当每个实例仅能访问一个噪声副本时，在线学习的根本限制是什么？

主要发现

• 采用随机无偏估计器的在线梯度下降变体，在任意内积核或高斯核空间中，对任意解析凸损失函数均实现了次线性遗憾。
• 每个实例的噪声查询次数在期望值和高概率下均被有界为常数，避免了对大规模样本平均的依赖。
• 当每个实例仅提供一个噪声副本时，在线设置下学习被严格证明为不可能，即使对于简单的凸损失函数也是如此。
• 遗憾边界依赖于噪声方差和核结构，并在某些分布条件下被证明不会趋于零。
• 该方法对具有零均值和有界方差的对抗性噪声具有鲁棒性，即使噪声分布随时间变化也成立。
• 理论框架可扩展至多项式核和高斯核以外的其他核类型。