[论文解读] Understanding Square Loss in Training Overparametrized Neural Network Classifiers

Tianyang Hu, Jun Wang+2 more|arXiv (Cornell University)|Dec 7, 2021

Advanced Neural Network Applications被引用 4

一句话总结

本文对过参数化神经网络分类器中平方损失的理论与实证分析表明，其在泛化误差和校准误差方面具有快速收敛性，在可分情况下实现指数级收敛，并展现出更优的鲁棒性。研究证明，与交叉熵相比，使用单纯形编码的平方损失在噪声和对抗性攻击下能实现更好的校准与对抗鲁棒性。

ABSTRACT

Deep learning has achieved many breakthroughs in modern classification tasks. Numerous architectures have been proposed for different data structures but when it comes to the loss function, the cross-entropy loss is the predominant choice. Recently, several alternative losses have seen revived interests for deep classifiers. In particular, empirical evidence seems to promote square loss but a theoretical justification is still lacking. In this work, we contribute to the theoretical understanding of square loss in classification by systematically investigating how it performs for overparametrized neural networks in the neural tangent kernel (NTK) regime. Interesting properties regarding the generalization error, robustness, and calibration error are revealed. We consider two cases, according to whether classes are separable or not. In the general non-separable case, fast convergence rate is established for both misclassification rate and calibration error. When classes are separable, the misclassification rate improves to be exponentially fast. Further, the resulting margin is proven to be lower bounded away from zero, providing theoretical guarantees for robustness. We expect our findings to hold beyond the NTK regime and translate to practical settings. To this end, we conduct extensive empirical studies on practical neural networks, demonstrating the effectiveness of square loss in both synthetic low-dimensional data and real image data. Comparing to cross-entropy, square loss has comparable generalization error but noticeable advantages in robustness and model calibration.

研究动机与目标

• 为深度学习分类器中平方损失的实证成功提供理论依据，尤其是在过参数化设置下。
• 研究平方损失在可分与不可分分类设置下对泛化误差、校准误差与鲁棒性的影响。
• 从模型校准性、对抗鲁棒性及高斯噪声下的性能表现，对比平方损失与交叉熵。
• 评估标签编码方案（特别是独热编码与单纯形编码）对平方损失性能的影响。
• 开发并验证一种专为平方损失分类器设计的新角度攻击，以更准确地评估其鲁棒性。

提出的方法

• 在神经正切核（NTK）框架下分析平方损失，推导出在误分类误差与校准误差上的理论收敛速率。
• 推导出平方损失下的最优分类器为 $2\eta - 1$，其为真实条件概率 $\eta$ 的线性函数，从而实现更优的校准性。
• 提出一种角度攻击，通过最大化余弦相似度而非平方损失，揭示平方损失模型中更强的对抗脆弱性。
• 采用白盒（PGD）与黑盒（AutoAttack）对抗攻击，在CIFAR-10与CIFAR-100数据集上评估鲁棒性。
• 通过注入标准差从0.1到0.4的高斯噪声，评估鲁棒性并测量准确率下降情况。
• 对比独热编码与单纯形编码，结果表明单纯形编码在更深网络（如WRN-16-10）中表现更优。

实验结果

研究问题

• RQ1 在过参数化NTK框架下，平方损失在泛化误差与校准误差方面的表现如何？
• RQ2 在可分与不可分数据下，平方损失在误分类误差与校准误差上的理论收敛速率是什么？
• RQ3 在PGD与AutoAttack攻击下，平方损失与交叉熵在对抗鲁棒性方面有何差异？
• RQ4 标签编码方式（独热编码 vs. 单纯形编码）对平方损失分类器性能有何影响？
• RQ5 是否可通过专用攻击（角度攻击）揭示出平方损失模型相较于标准平方损失最大化攻击的更强脆弱性？

主要发现

• 在不可分情况下，平方损失在NTK框架下对误分类率与校准误差均实现了快速收敛。
• 当类别可分时，平方损失下的误分类率呈指数级快速收敛，且边际下限远离零，确保了鲁棒性。
• 经平方损失训练的模型在泛化误差上与交叉熵相当，但在校准性与对抗攻击下的鲁棒性显著更优。
• 在CIFAR-10与CIFAR-100上，平方损失模型在高斯噪声下保持更高准确率（例如，ResNet-18在σ=0.1时准确率为90.07%，而交叉熵为90.03%），表明其具有更优的噪声鲁棒性。
• 角度攻击在平方损失模型上的表现优于标准PGD攻击，表明标准攻击可能低估了其脆弱性。
• 单纯形编码在所有情况下均优于缩放后的独热编码，尤其在更深网络（如WRN-16-10）中表现更优，准确率达到79.65%，而独热编码为78.39%。