[论文解读] Surrogate Functions for Maximizing Precision at the Top

Purushottam Kar, Harikrishna Narasimhan+1 more|arXiv (Cornell University)|May 26, 2015

Machine Learning and Algorithms参考文献 31被引用 12

一句话总结

本文提出了一类新颖的、凸的、上界逼近的代理函数，用于处理排序和多标签学习中的关键性能度量——Precision@k（prec@k）。这些代理函数基于合理的边界条件设计，支持可扩展的感知机和随机梯度下降（SGD）算法，并具备可证明的误分类次数和收敛性边界，显著推进了实际应用场景中prec@k优化的进展。

ABSTRACT

The problem of maximizing precision at the top of a ranked list, often dubbed Precision@k (prec@k), finds relevance in myriad learning applications such as ranking, multi-label classification, and learning with severe label imbalance. However, despite its popularity, there exist significant gaps in our understanding of this problem and its associated performance measure. The most notable of these is the lack of a convex upper bounding surrogate for prec@k. We also lack scalable perceptron and stochastic gradient descent algorithms for optimizing this performance measure. In this paper we make key contributions in these directions. At the heart of our results is a family of truly upper bounding surrogates for prec@k. These surrogates are motivated in a principled manner and enjoy attractive properties such as consistency to prec@k under various natural margin/noise conditions. These surrogates are then used to design a class of novel perceptron algorithms for optimizing prec@k with provable mistake bounds. We also devise scalable stochastic gradient descent style methods for this problem with provable convergence bounds. Our proofs rely on novel uniform convergence bounds which require an in-depth analysis of the structural properties of prec@k and its surrogates. We conclude with experimental results comparing our algorithms with state-of-the-art cutting plane and stochastic gradient algorithms for maximizing prec@k.

研究动机与目标

• 为排序和多标签学习中广泛使用但理解不足的性能度量Precision@k，解决其缺乏凸的、上界逼近代理函数的问题。
• 开发用于最大化prec@k的可扩展在线和随机优化算法，克服现有方法（如切割平面法和基于SVM的方法）的局限性。
• 通过prec@k及其代理函数的新型一致收敛性分析，建立理论保证——感知机类算法的误分类次数边界和SGD的收敛边界。
• 定义一个边距条件的分层结构（弱、中、强），与提出的三种代理函数一一对应，确保在自然数据假设下具备条件一致性。
• 通过提供具有清晰泛化和收敛边界算法，弥合prec@k优化在理论理解与实际部署之间的差距。

提出的方法

• 提出三种新颖的、凸的prec@k代理函数，严格上界逼近真实prec@k度量，确保优化过程能提升实际性能。
• 引入三种边距条件——弱、中、强（k,γ）-边距，定义了代理函数与prec@k一致的自然数据可分性假设。
• 设计两种感知机类算法，推广经典感知机，其误分类次数边界在所定义的边距条件下得到改善。
• 开发一种小批量随机梯度下降（SGD）算法用于prec@k优化，其收敛性保证基于代理损失的一致收敛边界推导得出。
• 采用一种新颖的一致收敛性分析方法，对prec@k性能度量及其代理函数进行分析，利用标签空间的划分和集中不等式（如Bernstein不等式）。
• 运用在线到批量转换技术，推导感知机算法的泛化边界，确保理论鲁棒性。

实验结果

研究问题

• RQ1 我们能否设计出保证严格上界逼近真实性能度量的凸代理函数，从而实现安全优化？
• RQ2 哪些自然边距条件可确保这些代理函数与真实prec@k度量一致？
• RQ3 我们能否开发出具有可证明收敛性和误分类次数边界的可扩展在线和随机优化算法，用于prec@k？
• RQ4 prec@k及其代理函数的结构特性如何影响学习理论中的泛化性和一致收敛性？
• RQ5 是否存在一个系统化的层次结构，将边距条件、代理函数与算法性能保证联系起来，用于prec@k？

主要发现

• 所提出的代理函数是目前已知首个严格上界逼近Precision@k的凸函数，确保优化这些代理函数可提升实际prec@k性能。
• 三种代理函数中的每一种在对应的一种引入的边距条件下，均与prec@k实现条件一致性，建立了代理函数与边距概念之间的一一对应关系。
• 感知机类算法在弱（k,γ）-边距条件下，其误分类次数边界可退化为收敛边界，推广了经典感知机的收敛结果。
• SGD算法在平均代理损失上的收敛速率为O(√(log T / T))，其高概率泛化边界通过一致收敛性分析推导得出。
• 实验结果表明，所提出的感知机和SGD方法在KDD08、Covtype和Cod-RNA等数据集上的prec@0.25最大化任务中，优于SVMPerf和1PMB等最先进方法。
• 理论分析揭示，prec@k的结构复杂性要求采用精细化的一致收敛框架，作者为此开发并应用了新的边界推导方法。