[论文解读] Online Pairwise Learning Algorithms with Kernels

Yiming Ying, Ding‐Xuan Zhou|arXiv (Cornell University)|Feb 25, 2015

Advanced Bandit Algorithms Research参考文献 33被引用 6

一句话总结

该论文提出OPERA，一种基于核方法的在线成对学习算法，在无约束再生核希尔伯特空间（RKHS）中使用最小二乘损失函数。该方法建立了最后迭代值的几乎必然收敛性，并在多项式衰减步长下推导出显式的收敛速率，无需强凸性或有界迭代值的假设——为使用通用核函数的在线成对学习提供了新颖的理论框架。

ABSTRACT

Pairwise learning usually refers to a learning task which involves a loss function depending on pairs of examples, among which most notable ones include ranking, metric learning and AUC maximization. In this paper, we study an online algorithm for pairwise learning with a least-square loss function in an unconstrained setting of a reproducing kernel Hilbert space (RKHS), which we refer to as the Online Pairwise lEaRning Algorithm (OPERA). In contrast to existing works \cite{Kar,Wang} which require that the iterates are restricted to a bounded domain or the loss function is strongly-convex, OPERA is associated with a non-strongly convex objective function and learns the target function in an unconstrained RKHS. Specifically, we establish a general theorem which guarantees the almost surely convergence for the last iterate of OPERA without any assumptions on the underlying distribution. Explicit convergence rates are derived under the condition of polynomially decaying step sizes. We also establish an interesting property for a family of widely-used kernels in the setting of pairwise learning and illustrate the above convergence results using such kernels. Our methodology mainly depends on the characterization of RKHSs using its associated integral operators and probability inequalities for random variables with values in a Hilbert space.

研究动机与目标

• 开发一种用于成对学习任务（如排序、度量学习和AUC最大化）的在线学习算法。
• 在无强凸性或有界迭代值假设下，分析无约束RKHS设置中的收敛性。
• 建立算法最后迭代值的几乎必然收敛性，并推导其显式收敛速率。
• 刻画广泛使用的核函数在成对学习背景下的行为，并支持理论结果。
• 通过积分算子和希尔伯特空间值随机变量，将在线学习理论扩展至非强凸、无约束的成对学习问题。

提出的方法

• 在产品空间 $\mathcal{X}^2$ 上的无约束RKHS中，提出基于最小二乘损失函数的在线成对学习算法（OPERA）。
• 使用与$\mathcal{X}^2 \times \mathcal{X}^2$ 上的Mercer核$K$相关的核基假设空间 $\mathcal{H}_K$。
• 采用步长序列 $\gamma_t = \kappa^{-2} t^{-(2\beta+1)/(2\beta+2)}$ 实现多项式衰减，以确保收敛性。
• 通过关联积分算子刻画RKHS，并应用希尔伯特空间值随机变量的概率不等式推导误差界。
• 通过将RKHS范数与希尔伯特-施密特算子范数关联，并分析目标函数正则性相关的残差误差，建立收敛性。
• 利用分解 $f(x^1,x^2) = g(x^1) - g(x^2)$ 将成对核与$\mathcal{X}$ 上的标准RKHS $\mathcal{H}_G$ 关联，从而通过 $\mathcal{H}_G$ 实现误差分析。

实验结果

研究问题

• RQ1 在线成对学习算法是否能在无强凸性或有界迭代值假设下，于无约束RKHS中实现几乎必然收敛？
• RQ2 在多项式衰减步长下，OPERA可实现何种收敛速率？
• RQ3 广泛使用的核函数在成对学习背景下如何表现？其何种结构特性支持收敛性？
• RQ4 误差分析能否扩展至非强凸目标函数的在线成对学习问题？
• RQ5 目标函数的正则性与在线算法收敛速率之间存在何种关系？

主要发现

• OPERA的最后迭代值在无需对底层数据分布作任何假设的情况下，几乎必然收敛至目标函数。
• 对于多项式衰减步长，推导出 $\mathcal{O}(T^{-\beta/(2\beta+2)})$ 阶的显式收敛速率，其中 $\beta$ 衡量目标函数的正则性。
• 与单变量情形（$\mathcal{O}(T^{-\beta/(2\beta+1)})$）相比，该收敛速率次优，提示仍有改进空间。
• 对于特殊成对核 $K((x^1,x^2), (\hat{x}^1,\hat{x}^2)) = \langle G_{x^1} - G_{x^2}, G_{\hat{x}^1} - G_{\hat{x}^2} \rangle_G$，RKHS结构使得 $f \in \mathcal{H}_K$ 与 $g \in \mathcal{H}_G$ 之间存在一一对应关系，通过 $f(x^1,x^2) = g(x^1) - g(x^2)$ 实现。
• 当 $1_{\mathcal{X}} \notin \mathcal{H}_G$ 时，核$K$诱导出一个严格正定的RKHS，确保学习过程的唯一性与稳定性。