[论文解读] Unregularized Online Learning Algorithms with General Loss Functions

Yiming Ying, Ding‐Xuan Zhou|arXiv (Cornell University)|Mar 2, 2015

Sparse and Compressive Sensing Techniques参考文献 40被引用 3

一句话总结

本文在再生核希尔伯特空间（RKHS）中，针对具有通用 $α$-激活损失函数的无正则化在线学习算法，建立了收敛速率，采用了一种新颖的归纳证明技术。在多项式衰减步长下提供了显式的收敛速率，并证明了分类与成对学习任务中最后一个迭代的收敛性，将先前结果扩展至无正则化或Lipschitz连续梯度设定之外。

ABSTRACT

In this paper, we consider unregularized online learning algorithms in a Reproducing Kernel Hilbert Spaces (RKHS). Firstly, we derive explicit convergence rates of the unregularized online learning algorithms for classification associated with a general gamma-activating loss (see Definition 1 in the paper). Our results extend and refine the results in Ying and Pontil (2008) for the least-square loss and the recent result in Bach and Moulines (2011) for the loss function with a Lipschitz-continuous gradient. Moreover, we establish a very general condition on the step sizes which guarantees the convergence of the last iterate of such algorithms. Secondly, we establish, for the first time, the convergence of the unregularized pairwise learning algorithm with a general loss function and derive explicit rates under the assumption of polynomially decaying step sizes. Concrete examples are used to illustrate our main results. The main techniques are tools from convex analysis, refined inequalities of Gaussian averages, and an induction approach.

研究动机与目标

• 建立无正则化在线学习算法在RKHS中具有通用 $α$-激活损失函数的显式收敛速率。
• 推导确保最后一个迭代收敛的步长的一般条件，扩展至固定或特殊衰减形式之外。
• 将理论结果扩展至成对学习，证明无正则化算法在通用损失函数下的收敛性并推导收敛速率。
• 通过避免正则化并利用改进的凸分析工具处理非Lipschitz损失函数，克服先前工作的局限性。

提出的方法

• 采用新颖的归纳方法分析最后一个迭代的收敛性，避免依赖正则化。
• 应用高斯平均与Rademacher平均的精细不等式，控制假设空间的复杂度。
• 运用凸分析工具处理由凸性、可微性及导数Hölder连续性定义的通用 $α$-激活损失函数。
• 推导涉及误差 $R_t$、步长 $γ_t$ 以及核函数范数的递归不等式，以界收敛速率。
• 引入关键递归界 $R_{t+1} \leq F(R_t) + \text{误差项}$，其中 $F(R_t)$ 捕获主要衰减行为。
• 通过归纳法证明 $R_t \leq D t^{-\beta}$，使用精心选择的 $D$ 以满足递归不等式。

实验结果

研究问题

• RQ1 能否为具有通用 $α$-激活损失函数的无正则化在线学习算法推导出显式的收敛速率？
• RQ2 在无正则化在线学习中，何种步长的一般条件可确保最后一个迭代的收敛？
• RQ3 能否为通用损失函数下的无正则化成对学习算法建立收敛性？
• RQ4 与已有正则化或最小二乘损失设定下的结果相比，收敛速率如何？
• RQ5 对于通用损失函数，能否去除最优函数属于RKHS的假设？

主要发现

• 本文在多项式衰减步长下，为具有通用 $α$-激活损失函数的无正则化在线学习算法，建立了 $\mathcal{O}(T^{-1/3})$ 的收敛速率。
• 推导出一个一般步长条件，可保证最后一个迭代的收敛，扩展至 $\mathcal{O}(t^{-\theta})$ 衰减的特殊情况之外。
• 首次证明了无正则化成对学习算法在通用损失函数下的收敛性，并推导出显式收敛速率。
• 所提证明技术被证明比先前方法更简洁且更强大，尤其适用于非Lipschitz损失函数。
• 结果在一般框架下建立，可容纳 $\alpha$-激活损失，包括最小二乘、逻辑与 $q$-范数损失。
• 分析依赖于高斯平均的精细不等式与基于归纳的论证，以控制迭代过程中的误差传播。