[论文解读] Stochastic AUC Maximization with Deep Neural Networks

Mingrui Liu, Zhuoning Yuan+2 more|arXiv (Cornell University)|Apr 30, 2020

Machine Learning and Algorithms参考文献 45被引用 15

一句话总结

本文提出了一种新颖的随机AUC最大化框架，用于深度神经网络，通过使用代理损失将问题表述为非凸-凹极小-极大优化。利用Polyak–Łojasiewicz（PL）条件，提出了具有更快收敛速度和实用学习率的自适应随机算法，在类别不平衡数据上表现出更优性能。

ABSTRACT

Stochastic AUC maximization has garnered an increasing interest due to better fit to imbalanced data classification. However, existing works are limited to stochastic AUC maximization with a linear predictive model, which restricts its predictive power when dealing with extremely complex data. In this paper, we consider stochastic AUC maximization problem with a deep neural network as the predictive model. Building on the saddle point reformulation of a surrogated loss of AUC, the problem can be cast into a {\it non-convex concave} min-max problem. The main contribution made in this paper is to make stochastic AUC maximization more practical for deep neural networks and big data with theoretical insights as well. In particular, we propose to explore Polyak-\L{}ojasiewicz (PL) condition that has been proved and observed in deep learning, which enables us to develop new stochastic algorithms with even faster convergence rate and more practical step size scheme. An AdaGrad-style algorithm is also analyzed under the PL condition with adaptive convergence rate. Our experimental results demonstrate the effectiveness of the proposed algorithms.

研究动机与目标

• 解决现有随机AUC最大化方法依赖线性模型的局限性，这些方法在复杂数据上表达能力不足。
• 将AUC最大化扩展至深度神经网络，以提升在高度复杂且不平衡数据集上的预测性能。
• 在PL条件下，为深度AUC最大化开发实用的随机优化算法，并提供理论收敛保证。
• 通过利用深度学习中观察到的PL条件，实现更快收敛和更鲁棒的学习率选择。

提出的方法

• 使用代理损失将AUC最大化问题重新表述为非凸-凹极小-极大优化框架。
• 利用Polyak–Łojasiewicz（PL）条件，建立深度学习设置中随机算法的更快收敛速率。
• 基于AdaGrad设计一种具有自适应学习率的随机算法，利用PL条件改善收敛行为。
• 提出一种新颖的优化方案，在保持理论收敛性的同时，可扩展至大规模数据和深度架构。
• 通过避免严格假设并支持动态学习率自适应，确保算法的实用性。

实验结果

研究问题

• RQ1 在保持理论收敛性的同时，能否有效将随机AUC最大化扩展至深度神经网络？
• RQ2 Polyak–Łojasiewicz（PL）条件如何在深度模型的随机AUC优化中实现更快收敛？
• RQ3 可开发何种自适应学习率策略以改善深度AUC最大化中的收敛性和鲁棒性？
• RQ4 所提出的算法在AUC性能和训练效率方面与现有方法相比如何？

主要发现

• 通过利用在深度神经网络中经验观察到的PL条件，所提算法实现了更快的收敛速率。
• 基于AdaGrad风格的自适应学习率算法被提出，并在PL条件下得到理论证明，提升了实用性。
• 与基于线性模型的AUC最大化方法相比，该方法在不平衡数据集上表现出更优性能。
• 理论分析证实了在PL条件下的收敛性，为算法的鲁棒性和可扩展性提供了坚实基础。