[论文解读] Online Learning with Pairwise Loss Functions

Yuyang Wang, Roni Khardon+2 more|arXiv (Cornell University)|Jan 22, 2013

Advanced Bandit Algorithms Research参考文献 33被引用 10

一句话总结

本文首次为基于成对损失函数的在线学习提出了数据依赖的泛化界，实现了排序和度量学习中的在线到批量转换。它提出了一套新颖的理论框架，从在线学习序列中推导出低风险假设，通过投影梯度下降和U统计量分析，实现了双分类排序和监督度量学习的最优收敛速率。

ABSTRACT

Efficient online learning with pairwise loss functions is a crucial component in building large-scale learning system that maximizes the area under the Receiver Operator Characteristic (ROC) curve. In this paper we investigate the generalization performance of online learning algorithms with pairwise loss functions. We show that the existing proof techniques for generalization bounds of online algorithms with a univariate loss can not be directly applied to pairwise losses. In this paper, we derive the first result providing data-dependent bounds for the average risk of the sequence of hypotheses generated by an arbitrary online learner in terms of an easily computable statistic, and show how to extract a low risk hypothesis from the sequence. We demonstrate the generality of our results by applying it to two important problems in machine learning. First, we analyze two online algorithms for bipartite ranking; one being a natural extension of the perceptron algorithm and the other using online convex optimization. Secondly, we provide an analysis for the risk bound for an online algorithm for supervised metric learning.

研究动机与目标

• 为解决在线学习中成对损失函数缺乏泛化界的问题，这对大规模系统最大化AUC至关重要。
• 将现有在线学习理论从此前仅限于单变量损失的范围，扩展至依赖样本对的成对损失。
• 为双分类排序和度量学习中的在线算法提供理论基础，确保低期望风险。
• 展示该框架在AUC最大化和距离度量学习等实际问题中的适用性。
• 为成对损失函数建立通用的在线到批量转换方法，实现紧致的数据依赖风险界。

提出的方法

• 基于对假设序列上平均风险的新型分析，推导出任意在线学习器使用成对损失函数时的数据依赖泛化界。
• 将该框架应用于两种用于双分类排序的在线算法：一种类感知机扩展和一种在线凸优化方法。
• 提出一种用于监督度量学习的在线投影梯度下降算法，采用基于边界约束的凸损失函数。
• 使用U统计量形式化和经验伯恩斯坦不等式，对集成平均假设的风险进行界控。
• 引入基于缓冲区的在线到批量转换，采用大小为O(log n)的随机缓冲区，确保收敛至低风险假设。
• 在度量学习中通过将解投影到正半定矩阵集合上，保持度量性质。

实验结果

研究问题

• RQ1 能否将在线学习的泛化界从单变量损失扩展到成对损失函数？
• RQ2 使用成对损失的任意在线学习器所生成的假设序列的期望风险是多少？
• RQ3 如何以数据依赖的方式从在线假设序列中提取出低风险假设？
• RQ4 所提出的框架能否应用于具有可证明收敛保证的双分类排序和度量学习？
• RQ5 是否可能通过常数大小的缓冲区实现在线成对学习的最优收敛速率？

主要发现

• 本文首次为使用成对损失函数的在线学习建立了数据依赖的泛化界，适用于任意在线学习器。
• 对于在线双分类排序，该框架支持一种类感知机算法和一种在线凸优化方法，两者均实现了最优遗憾和风险界。
• 对于监督度量学习，所提出的在线投影梯度下降算法实现了如下风险界：Pr[ℛ(𝐀̄) ≥ (1/(n−cₙ))(M* + √n) + ε] ≤ [2((32R/ε)+1)^d + 1] exp{−(cn−1)ε²/64 + ln n}，确保收敛。
• 理论分析表明，大小为O(log n)的随机缓冲区足以实现收敛，但该大小是否必要仍为开放问题。
• 该框架具有通用性，适用于所有具有已证明遗憾保证的在线度量学习算法，包括Jin等人（2009）的研究。
• 结果表明，成对损失的在线到批量转换是可行的，使得在线算法可在批量学习中使用，并具备强泛化保证。