[论文解读] Scalable Learning of Non-Decomposable Objectives

Elad Eban, Mariano Schain+4 more|arXiv (Cornell University)|Aug 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 8被引用 33

一句话总结

本文提出了一种可扩展的统一框架，用于优化非可分解排序目标（如AUCPR、P@R和Fβ），通过推导出简单的代理边界，使随机梯度下降（SGD）能够高效执行。该方法在大规模检索任务（包括ImageNet和3亿张图像的数据集）上实现了最先进性能，相较于基于准确率的基线模型，性能提升最高达36.6个百分点，同时保持了与标准交叉熵优化相当的训练效率。

ABSTRACT

Modern retrieval systems are often driven by an underlying machine learning model. The goal of such systems is to identify and possibly rank the few most relevant items for a given query or context. Thus, such systems are typically evaluated using a ranking-based performance metric such as the area under the precision-recall curve, the $F_β$ score, precision at fixed recall, etc. Obviously, it is desirable to train such systems to optimize the metric of interest. In practice, due to the scalability limitations of existing approaches for optimizing such objectives, large-scale retrieval systems are instead trained to maximize classification accuracy, in the hope that performance as measured via the true objective will also be favorable. In this work we present a unified framework that, using straightforward building block bounds, allows for highly scalable optimization of a wide range of ranking-based objectives. We demonstrate the advantage of our approach on several real-life retrieval problems that are significantly larger than those considered in the literature, while achieving substantial improvement in performance over the accuracy-objective baseline.

研究动机与目标

• 解决现有方法在优化非可分解排序目标（如AUCPR、P@R和Fβ）时的可扩展性限制。
• 开发一种统一的优化框架，适用于广泛的基于排序的指标，且无需全批量或二次时间复杂度的计算。
• 使大规模检索系统（如欺诈检测或图像分类系统）能够在真实数据集上进行训练，而标准准确率优化无法最大化真实评估指标。
• 证明针对实际关注指标（如AUCPR）进行优化，相较于标准交叉熵或基于准确率的训练，可带来显著的性能提升。

提出的方法

• 通过为真正例和假正例指标构建每样本的边界，构建非可分解指标的全局代理目标。
• 这些代理目标是原始非可分解目标的凸松弛形式，且设计为适合随机梯度下降（SGD）优化。
• 该框架使用有限数量的锚点（例如K=5或K=10）来近似基于积分的指标（如AUCPR），从而实现在大规模数据集上的高效优化。
• 该方法利用标准的小批量SGD，具有有利的收敛速率，使其可扩展至包含数亿样本的数据集。
• 相同的构建模块被复用于多种指标，包括AUCROC、AUCPR、P@R、R@P和Fβ，实现统一的优化流程。
• 该方法支持新型目标，例如在特定感兴趣区域（如高召回率或高精确率范围）内的ROC曲线下面积。

实验结果

研究问题

• RQ1 能否开发一种统一框架，以与标准分类损失相当的计算效率，优化AUCPR、P@R和Fβ等多样化的非可分解排序目标？
• RQ2 在大规模检索系统中，针对真实评估指标（如AUCPR）进行优化，是否能带来相较于基于准确率训练的可测量性能提升？
• RQ3 所提出的代理边界是否能实现在包含数亿样本的数据集上，对非可分解目标进行可扩展的随机优化？
• RQ4 在指标提升和训练效率方面，该方法与标准基线（如Softmax交叉熵）相比表现如何？

主要发现

• 在CIFAR-10上，使用所提方法优化AUCPR使AUCPR从基线的84.6%提升至94.2%，提升了9.6个百分点。
• 对于P@R 95，该方法相较基线实现了24.1个百分点的提升，表明在高召回率场景下具有显著优势。
• 在ImageNet上，该方法使AUCPR从82.2%提升至83.3%，准确率仅下降0.4%，表明其在大规模基准上的有效性。
• 在JFT数据集（3亿张图像，20,000个类别）上，使用相同架构和训练时间，AUCPR从基线的42%提升至48%，提升了6个百分点。
• 该方法的收敛速率与标准SGD无异，证实了其可扩展性和效率。
• 各类别的精确率-召回率曲线均显示一致改进，尤其在基线表现较差的类别中提升最为显著。