[论文解读] Robust Deep AUC Maximization: A New Surrogate Loss and Empirical Studies on Medical Image Classification

Zhuoning Yuan, Yan Yan+2 more|arXiv (Cornell University)|Dec 6, 2020

Cutaneous Melanoma Detection and Management参考文献 26被引用 11

一句话总结

本文提出了一种新的基于边际的鲁棒代理损失函数，用于深度AUC最大化（DAM），相较于现有的AUC平方损失，其在泛化能力和优化稳定性方面均有提升。该方法在大规模医学影像分类任务中取得了最先进性能，在斯坦福CheXpert竞赛中获得第一名，并在Kaggle 2020年黑色素瘤分类竞赛中位列前1%，首次成功将DAM应用于真实世界的医学影像任务。

ABSTRACT

Deep AUC Maximization (DAM) is a paradigm for learning a deep neural network by maximizing the AUC score of the model on a dataset. Most previous works of AUC maximization focus on the perspective of optimization by designing efficient stochastic algorithms, and studies on generalization performance of DAM on difficult tasks are missing. In this work, we aim to make DAM more practical for interesting real-world applications (e.g., medical image classification). First, we propose a new margin-based surrogate loss function for the AUC score (named as the AUC margin loss). It is more robust than the commonly used AUC square loss, while enjoying the same advantage in terms of large-scale stochastic optimization. Second, we conduct empirical studies of our DAM method on difficult medical image classification tasks, namely classification of chest x-ray images for identifying many threatening diseases and classification of images of skin lesions for identifying melanoma. Our DAM method has achieved great success on these difficult tasks, i.e., the 1st place on Stanford CheXpert competition (by the paper submission date) and Top 1% rank (rank 33 out of 3314 teams) on Kaggle 2020 Melanoma classification competition. We also conduct extensive ablation studies to demonstrate the advantages of the new AUC margin loss over the AUC square loss on benchmark datasets. To the best of our knowledge, this is the first work that makes DAM succeed on large-scale medical image datasets.

研究动机与目标

• 解决深度AUC最大化（DAM）在医学影像分类等具有挑战性的现实任务中缺乏泛化性研究的问题。
• 开发一种更鲁棒的AUC最大化代理损失函数，以提升优化稳定性与性能。
• 通过实证验证DAM在具有挑战性的医学影像数据集上的表现，证明其在实际应用中的可行性与优越性。

提出的方法

• 提出一种新型基于边际的AUC最大化代理损失函数，称为AUC边际损失，相比AUC平方损失具有更强的鲁棒性。
• 设计AUC边际损失以保持与大规模随机优化的兼容性，从而实现在大规模数据集上的高效训练。
• 将新损失函数集成于深度神经网络框架中，实现在端到端训练过程中直接优化AUC得分。
• 在基准数据集上开展广泛的消融研究，对比AUC边际损失与AUC平方损失在性能与稳定性方面的表现。
• 将所提出的DAM框架应用于两个真实世界的医学影像分类任务：胸部X光片分析与皮肤病变分类。
• 通过在斯坦福CheXpert和Kaggle 2020年黑色素瘤数据集上的大规模实证评估验证该方法。

实验结果

研究问题

• RQ1 在医学影像分类任务中，所提出的AUC边际损失相较于AUC平方损失在鲁棒性与泛化性能方面表现如何？
• RQ2 深度AUC最大化能否在大规模、现实世界的医学影像基准上实现最先进性能？
• RQ3 新代理损失对AUC最大化中的优化稳定性与收敛性有何影响？
• RQ4 所提出的DAM框架在复杂且类别极度不平衡的医学影像数据集上是否具有良好泛化能力？
• RQ5 相较于标准交叉熵训练，AUC边际损失在具有挑战性的医学诊断任务中对模型性能的提升程度如何？

主要发现

• 在基准数据集上的消融研究中，所提出的AUC边际损失相比AUC平方损失展现出更优的鲁棒性。
• DAM方法在斯坦福CheXpert竞赛中获得第一名，其在多种威胁性疾病的胸部X光片分类任务中优于其他方法。
• 该方法在Kaggle 2020年黑色素瘤分类竞赛中位列前1%（33名/3,314支队伍），在皮肤病变分类任务中表现出色。
• AUC边际损失在保持高AUC性能的同时，实现了有效的大规模随机优化，使DAM在真实医学应用中更具实用性。
• 本工作首次成功将深度AUC最大化应用于大规模医学影像数据集，展示了其在临床部署中的潜力。