[论文解读] What's in a Loss Function for Image Classification?

Simon Kornblith, Honglak Lee+2 more|arXiv (Cornell University)|Oct 30, 2020

Machine Learning and Data Classification参考文献 38被引用 7

一句话总结

本文研究了不同损失函数和正则化策略对图像分类性能的影响，表明改进的目标函数（如标签平滑）可增强倒数第二层的类别分离，从而提升准确率和校准性，但会降低特征向下游任务的可迁移性。关键洞见是性能提升源于更优的决策边界，而非表征的深层变化。

ABSTRACT

It is common to use the softmax cross-entropy loss to train neural networks on classification datasets where a single class label is assigned to each example. However, it has been shown that modifying softmax cross-entropy with label smoothing or regularizers such as dropout can lead to higher performance. This paper studies a variety of loss functions and output layer regularization strategies on image classification tasks. We observe meaningful differences in model predictions, accuracy, calibration, and out-of-distribution robustness for networks trained with different objectives. However, differences in hidden representations of networks trained with different objectives are restricted to the last few layers; representational similarity reveals no differences among network layers that are not close to the output. We show that all objectives that improve over vanilla softmax loss produce greater class separation in the penultimate layer of the network, which potentially accounts for improved performance on the original task, but results in features that transfer worse to other tasks.

研究动机与目标

• 理解损失函数和输出层正则化的变化如何影响图像分类中的模型性能、校准性和鲁棒性。
• 探究不同训练目标是否会导致深层神经网络中学习表征的实质性变化。
• 评估在不同目标下学习的特征在域内性能与可迁移性之间的权衡。
• 识别训练目标中哪些组件对模型行为和泛化能力影响最大。

提出的方法

• 比较了多种损失函数，包括原始的softmax交叉熵、标签平滑交叉熵以及引入dropout等正则化变体的损失函数。
• 在标准图像分类基准上训练深度神经网络，采用不同目标函数，同时保持网络架构和数据完全一致。
• 通过表征相似性分析（RSA）分析隐藏表征，比较不同层和不同训练目标下的特征图。
• 在域内准确率、校准性（如期望校准误差）以及分布外鲁棒性方面评估模型性能。
• 使用类间距离和类内距离等指标量化倒数第二层的类别分离程度。
• 通过在下游视觉任务上微调特征并测量性能增益，评估可迁移性。

实验结果

研究问题

• RQ1 不同损失函数如何影响图像分类器的准确率、校准性和分布外鲁棒性？
• RQ2 不同训练目标在多大程度上改变了深层神经网络中的学习表征？
• RQ3 性能差异是源于早期层还是深层表征的变化？这些差异主要出现在何处？
• RQ4 原始任务上性能的提升是否与向其他任务的可迁移性提升相关？
• RQ5 倒数第二层的类别分离与整体模型性能之间存在何种关系？

主要发现

• 相较于原始的softmax交叉熵，改进的损失函数（如标签平滑）在图像分类基准上可实现更高的准确率和更好的校准性。
• 改进的目标函数显著增强了倒数第二层的类别分离，且该现象与域内性能提升密切相关。
• 网络各层隐藏表征的差异较小，且主要局限于最后几层，表明表征变化集中于输出附近。
• 尽管在原始任务上性能提升，但采用先进目标函数训练的模型在下游任务上的可迁移性反而更差。
• 准确率和校准性的提升主要源于倒数第二层更优的决策边界，而非早期特征层次的改变。
• 域内性能与可迁移性之间的权衡表明，输出层更强的正则化可能损害模型在新任务上的泛化能力。