[论文解读] Online Learning as Stochastic Approximation of Regularization Paths

Pierre Tarrès, Yuan Yao|arXiv (Cornell University)|Mar 29, 2011

Control Systems and Identification参考文献 17被引用 11

一句话总结

该论文提出了一种在线学习算法，通过在再生核希尔伯特空间（RKHS）中顺序逼近正则化路径，实现了RKHS范数下的最优强收敛速率和均方误差下的最优弱收敛速率。通过基于函数正则性仔细调节步长序列，该方法利用希尔伯特空间中鞅的伯恩斯坦型不等式，确保了几乎必然收敛。

ABSTRACT

In this paper, an online learning algorithm is proposed as sequential stochastic approximation of a regularization path converging to the regression function in reproducing kernel Hilbert spaces (RKHSs). We show that it is possible to produce the best known strong (RKHS norm) convergence rate of batch learning, through a careful choice of the gain or step size sequences, depending on regularity assumptions on the regression function. The corresponding weak (mean square distance) convergence rate is optimal in the sense that it reaches the minimax and individual lower rates in the literature. In both cases we deduce almost sure convergence, using Bernstein-type inequalities for martingales in Hilbert spaces. To achieve this we develop a bias-variance decomposition similar to the batch learning setting; the bias consists in the approximation and drift errors along the regularization path, which display the same rates of convergence, and the variance arises from the sample error analysed as a reverse martingale difference sequence. The rates above are obtained by an optimal trade-off between the bias and the variance.

研究动机与目标

• 提出一种在线学习算法，用于在RKHS中逼近Tikhonov正则化路径，以估计回归函数。
• 建立与批处理学习中最佳已知结果相匹配的强（RKHS范数）和弱（均方误差）收敛速率。
• 利用希尔伯特空间中的鞅集中不等式，证明几乎必然收敛。
• 分析在线设置下的偏差-方差分解，区分近似误差、漂移误差和样本误差。
• 通过依赖于函数正则性的自适应步长序列，实现偏差与方差之间的最优权衡。

提出的方法

• 该算法沿由Tikhonov正则化定义的正则化路径，使用随机逼近方案递归更新假设。
• 它采用偏差-方差分解，其中偏差源于路径上的近似误差和漂移误差，方差则来自建模为反向鞅差序列的样本误差。
• 步长序列基于回归函数的正则性假设自适应选择，以平衡偏差与方差。
• 分析使用了希尔伯特空间中鞅的伯恩斯坦型不等式，推导出误差的高概率界。
• 该方法依赖于经验协方差算子的谱性质，并利用投影算子来跟踪正则化路径。
• 理论保证在假设样本无限、噪声可积以及步长序列可求和的条件下成立。

实验结果

研究问题

• RQ1 在线学习能否在RKHS范数下达到与批处理学习相同的强收敛速率？
• RQ2 在线学习的弱收敛速率是否在极小化最大和个体下界的意义下达到最优？
• RQ3 能否利用鞅不等式为在线正则化路径逼近建立几乎必然收敛？
• RQ4 在线学习中的偏差-方差分解与批处理学习中的相比有何异同？
• RQ5 何种步长序列能在在线设置中实现近似误差与样本误差之间的最优权衡？

主要发现

• 所提出的在线算法在RKHS范数下实现了最优已知强收敛速率，与批处理学习的最优速率一致。
• 弱收敛速率达到最优，达到了文献中建立的极小化最大和个体下界。
• 利用希尔伯特空间中鞅的伯恩斯坦型不等式，证明了几乎必然收敛。
• 偏差项由近似误差和漂移误差组成，其收敛速率与批处理学习中的相同。
• 方差项源于样本误差，被分析为具有受控增长的反向鞅差序列。
• 基于回归函数的正则性假设，推导出最优步长序列，确保了偏差与方差之间的最佳权衡。