[论文解读] Stochastic Optimization of Area Under Precision-Recall Curve for Deep Learning with Provable Convergence.

Qi Qi, Youzhi Luo+3 more|arXiv (Cornell University)|Apr 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用 7

一句话总结

本文提出了首个在深度学习中针对精确率-召回率曲线下方面积（AUPRC）最大化的可证明收敛的随机优化方法，采用基于平均精确率（AP）的代理损失。该方法将AUPRC优化建模为具有依赖内函数的随机复合问题，在类别极度不平衡的图像和图数据集上实现了最先进性能。

ABSTRACT

Areas under ROC (AUROC) and precision-recall curves (AUPRC) are common metrics for evaluating classification performance for imbalanced problems. Compared with AUROC, AUPRC is a more appropriate metric for highly imbalanced datasets. While direct optimization of AUROC has been studied extensively, optimization of AUPRC has been rarely explored. In this work, we propose a principled technical method to optimize AUPRC for deep learning. Our approach is based on maximizing the averaged precision (AP), which is an unbiased point estimator of AUPRC. We show that the surrogate loss function for AP is highly non-convex and more complicated than that of AUROC. We cast the objective into a sum of dependent compositional functions with inner functions dependent on random variables of the outer level. We propose efficient adaptive and non-adaptive stochastic algorithms with provable convergence guarantee under mild conditions by using recent advances in stochastic compositional optimization. Extensive experimental results on graphs and image datasets demonstrate that our proposed method outperforms prior methods on imbalanced problems. To the best of our knowledge, our work represents the first attempt to optimize AUPRC with provable convergence.

研究动机与目标

• 为解决深度学习中AUPRC缺乏直接优化方法的问题，特别是针对高度不平衡的数据集。
• 开发一种原则性、可证明收敛的AUPRC优化框架，优于现有的间接或启发式方法。
• 弥合AUPRC作为不平衡分类首选指标与其实现于深度神经网络中的实际优化之间的差距。

提出的方法

• 该方法将平均精确率（AP）作为AUPRC的无偏估计量，用作AUPRC最大化的代理目标函数。
• 将AUPRC优化问题建模为依赖内函数的复合函数之和，其中内函数依赖于外层的随机变量。
• 该方法采用基于近期随机复合优化进展的自适应与非自适应随机算法。
• 代理损失函数设计为可微分，适用于深度学习模型的端到端训练。
• 在梯度有界和分量函数满足Lipschitz连续性等温和条件下，可保证收敛性。
• 通过精心设计的随机近似与方差减少技术，有效处理AUPRC目标函数的高非凸性与复杂性。

实验结果

研究问题

• RQ1 能否在深度学习中通过理论收敛保证直接优化AUPRC？
• RQ2 如何利用随机复合优化有效建模并求解AUPRC优化的非凸与复杂结构？
• RQ3 将AP作为代理损失进行优化，是否能在不平衡数据集上实现优于间接或启发式方法的AUPRC性能？
• RQ4 在现实的深度学习设置下，应用于AUPRC优化的随机算法具有怎样的收敛性质？
• RQ5 所提出的方法能否在图像和图等多样化数据类型中，于不平衡学习场景下实现良好泛化？

主要发现

• 所提方法在多个具有长尾类别分布的图像与图基准数据集上实现了最先进的AUPRC性能。
• 实证结果表明，与优化AUROC或使用间接损失代理的基线方法相比，AUPRC性能持续提升。
• 该方法在温和假设下实现可证明收敛，使其在实际部署中具备理论可靠性。
• 将平均精确率（AP）作为代理损失，可有效且稳定地实现深度神经网络中AUPRC的优化。
• 自适应与非自适应算法变体均收敛至驻点，其中自适应版本在实践中表现出更快的收敛速度。
• 该方法是首个为深度学习中的AUPRC提供可证明收敛优化框架的工作，填补了文献中的关键空白。