[论文解读] Robust Bi-Tempered Logistic Loss Based on Bregman Divergences

Ehsan Amid, Manfred K. Warmuth+2 more|arXiv (Cornell University)|Jun 8, 2019

Statistical Mechanics and Entropy参考文献 18被引用 28

一句话总结

本文提出了一种基于Bregman散度的鲁棒双温对数损失（bi-tempered logistic loss），用两个温度参数的温化版本替代标准的softmax和log损失：对log损失使用较低温度（确保对异常值的有界性），对指数函数使用较高温度（生成重尾类概率，以更好地处理误标样本）。该方法在多个基准测试中展现出对标签噪声的优越鲁棒性，即使在无噪声设置下也优于标准对数损失。

ABSTRACT

We introduce a temperature into the exponential function and replace the softmax output layer of neural nets by a high temperature generalization. Similarly, the logarithm in the log loss we use for training is replaced by a low temperature logarithm. By tuning the two temperatures we create loss functions that are non-convex already in the single layer case. When replacing the last layer of the neural nets by our bi-temperature generalization of logistic loss, the training becomes more robust to noise. We visualize the effect of tuning the two temperatures in a simple setting and show the efficacy of our method on large data sets. Our methodology is based on Bregman divergences and is superior to a related two-temperature method using the Tsallis divergence.

研究动机与目标

• 解决标准对数损失在深度学习中对标签噪声和大间隔异常值的敏感性问题。
• 克服标准交叉熵训练中凸性与轻尾softmax概率的局限性。
• 开发一种非凸的鲁棒损失函数，在噪声训练数据下保持正确性（properness）与泛化能力。
• 证明在温化对数和指数函数中调节两个独立温度参数可提升模型鲁棒性与准确率。
• 提供一个理论基础坚实的、优于现有基于Tsallis散度的双温度方法的正确损失函数。

提出的方法

• 引入温化对数函数 $\log_{t_1}(x) = \frac{1}{1-t_1}(x^{1-t_1} - 1)$，其中 $t_1 \in [0,1)$，该函数有下界，可增强对异常值的鲁棒性。
• 定义温化指数函数 $\exp_{t_2}(x) = \left[1 + (1-t_2)x\right]_+^{1/(1-t_2)}$，其中 $t_2 > 1$，该函数可生成重尾类概率，从而更好地处理决策边界附近的误标样本。
• 利用真实标签与温化softmax输出之间的Bregman散度构建双温损失，其中对数和指数部分分别使用不同的温度参数 $t_1$ 和 $t_2$。
• 通过使用Bregman散度确保损失函数保持正确性（即最优预测与真实标签一致），这与以往基于Tsallis散度的方法不同，后者缺乏正确性。
• 采用两阶段训练策略：第一阶段，在 $t_1 \in [0.5,1)$ 和 $t_2 \in (1.0,4.0]$ 的网格中搜索最优温度组合；第二阶段，使用表现最佳的温度对在标准数据集上进行训练。
• 使用标准深度学习流程（如带动量的SGD、学习率衰减），但将最后一层的损失替换为双温变体。

实验结果

研究问题

• RQ1 基于温化对数与指数函数的非凸损失函数是否能提升深度神经网络在标签噪声下的鲁棒性？
• RQ2 在温化指数函数中引入更高温度（以生成重尾概率）是否能减少对决策边界附近误标样本的过拟合？
• RQ3 在温化对数函数中使用较低温度（以实现有界损失）是否能降低训练过程中大间隔异常值的影响？
• RQ4 基于Bregman散度的双温损失是否在正确性与性能方面优于现有双温度方法（如基于Tsallis散度的方法）？
• RQ5 双温损失是否能在无标签噪声的情况下（即在干净测试集上）也提升泛化能力？

主要发现

• 在MNIST数据集上，50%标签噪声条件下，双温损失（0.5,4.0）达到97.69%的top-1准确率，优于标准对数损失的96.13%。
• 在CIFAR-100数据集上，50%标签噪声条件下，双温损失（0.8,1.2）达到57.80%的top-1准确率，而标准对数损失为52.96%。
• 在ImageNet-2012上，双温损失使ResNet-18的top-1准确率提升0.285%（71.618% vs. 71.333%），使ResNet-50的准确率提升0.416%（76.748% vs. 76.332%）。
• 双温损失显著延迟并减少了对标签噪声的过拟合，且在训练各周期中测试准确率的方差远低于标准对数损失。
• 即使在无噪声设置下（如CIFAR-100），双温损失也实现了更高的测试准确率（75.30% vs. 74.03%），表明其泛化优势不仅限于抗噪声能力。
• 该方法对超参数选择具有鲁棒性，当选择最优温度对时，可在多个数据集与网络架构上持续获得性能提升。