[论文解读] Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning

Azusa Sawada, Eiji Kaneko+1 more|arXiv (Cornell University)|Jul 30, 2020

Advanced Neural Network Applications参考文献 12被引用 5

一句话总结

本文提出一种top-k过渡损失，通过自适应地从标准交叉熵（CE）过渡到将top-k预测类别合并为单一类别的一类修改版CE，从而提升深度学习中的top-k分类准确率。实验表明，该损失在top-5和top-k准确率（k > 10）方面优于标准CE，在CIFAR-100数据集上使用ResNet18时，仅需25个候选类别即可达到99%准确率，比CE少8个。

ABSTRACT

This paper presents an experimental analysis about trade-offs in top-k classification accuracies on losses for deep leaning and proposal of a novel top-k loss. Commonly-used cross entropy (CE) is not guaranteed to optimize top-k prediction without infinite training data and model complexities. The objective is to clarify when CE sacrifices top-k accuracies to optimize top-1 prediction, and to design loss that improve top-k accuracy under such conditions. Our novel loss is basically CE modified by grouping temporal top-k classes as a single class. To obtain a robust decision boundary, we introduce an adaptive transition from normal CE to our loss, and thus call it top-k transition loss. It is demonstrated that CE is not always the best choice to learn top-k prediction in our experiments. First, we explore trade-offs between top-1 and top-k (=2) accuracies on synthetic datasets, and find a failure of CE in optimizing top-k prediction when we have complex data distribution for a given model to represent optimal top-1 prediction. Second, we compare top-k accuracies on CIFAR-100 dataset targeting top-5 prediction in deep learning. While CE performs the best in top-1 accuracy, in top-5 accuracy our loss performs better than CE except using one experimental setup. Moreover, our loss has been found to provide better top-k accuracies compared to CE at k larger than 10. As a result, a ResNet18 model trained with our loss reaches 99 % accuracy with k=25 candidates, which is a smaller candidate number than that of CE by 8.

研究动机与目标

• 研究在理想条件下标准交叉熵（CE）虽具备top-k校准性，却为何仍无法优化top-k分类准确率。
• 解决在数据有限、模型容量受限及优化收敛性不足的实际深度学习设置中，top-1与top-k准确率之间的权衡问题。
• 设计一种新型损失函数，通过在现实约束下促进鲁棒的决策边界，提升top-k预测性能。
• 证明标准CE在top-k预测中并非始终最优，尤其在数据分布复杂或模型容量受限时。

提出的方法

• 提出一种top-k过渡损失，动态地从标准CE过渡到一种修改后的CE，其中top-k预测类别被合并为单一类别。
• 引入一种自适应过渡机制，在训练过程中逐步从标准CE过渡到top-k分组损失，以稳定优化并提升泛化能力。
• 将该损失应用于深度神经网络（ResNet18、DenseNet121）在合成数据和真实世界数据集（CIFAR-100）上的实验，结合数据增强技术（Mixup、Cutout）。
• 在多种训练设置下，将所提损失的top-k准确率与标准CE及其他top-k损失（如平滑top-5 SVM损失）进行对比。
• 利用合成数据，分析在具有复杂数据分布（如多模态类别结构）时，CE在top-k预测中的失效模式。
• 在CIFAR-100上评估top-1和top-5预测性能，测量不同k值下的准确率，以识别性能拐点。

实验结果

研究问题

• RQ1 在何种数据和模型条件下，尽管理论上具备top-k校准性，标准交叉熵仍无法优化top-k准确率？
• RQ2 在现实世界的深度学习场景中，将top-k类别合并为单一类别的修改损失函数是否能提升top-k预测性能？
• RQ3 从标准CE自适应过渡到top-k分组损失的过程，如何影响决策边界的鲁棒性与泛化能力？
• RQ4 在实际深度学习设置中，使用CE与top-k专用损失时，top-1与top-k准确率之间存在何种权衡？
• RQ5 所提出的top-k过渡损失在多大程度上可减少达到目标准确率（如99%）所需的预测候选数量？

主要发现

• 在合成数据上，当类别分布复杂（如多模态）时，即使模型容量充足，标准CE仍无法优化top-k准确率，原因在于决策边界不够鲁棒。
• 在CIFAR-100上，所提出的top-5过渡损失在6组实验中的5组中均优于标准CE，尤其在使用Mixup时，ResNet18上实现了0.9%的准确率提升。
• 当k > 10时，top-5过渡损失持续优于CE及其他基线方法，在仅需25个预测候选类别的情况下即达到99%准确率，比CE少8个。
• top-5过渡损失优于top-5分组损失，后者因在类别间重叠度低的数据集中决策边界选择不佳，表现甚至劣于CE。
• 在Cutout增强下，平滑top-5 SVM损失表现略优于过渡损失，但其不兼容软标签训练（如Mixup），而过渡损失在该场景下表现更优。
• 即使在CIFAR-100等干净数据集上，top-1与top-k准确率之间的权衡依然存在，表明该现象源于泛化误差，而非模型欠拟合。