[论文解读] Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration

Yung-Chen Tang, Pin‐Yu Chen+1 more|arXiv (Cornell University)|Sep 23, 2022

Spectroscopy Techniques in Biomedical and Chemical Research被引用 4

一句话总结

本文提出神经夹紧（Neural Clamping），一种新颖的后处理校准方法，通过联合学习一个通用输入扰动和温度缩放参数来提升神经网络的校准性能。通过同时优化输入和输出变换，神经夹紧实现了最先进性能，在使用CIFAR-100对ResNet-110进行校准时，将期望校准误差（ECE）降低了36%。

ABSTRACT

Neural network calibration is an essential task in deep learning to ensure consistency between the confidence of model prediction and the true correctness likelihood. In this paper, we propose a new post-processing calibration method called Neural Clamping, which employs a simple joint input-output transformation on a pre-trained classifier via a learnable universal input perturbation and an output temperature scaling parameter. Moreover, we provide theoretical explanations on why Neural Clamping is provably better than temperature scaling. Evaluated on BloodMNIST, CIFAR-100, and ImageNet image recognition datasets and a variety of deep neural network models, our empirical results show that Neural Clamping significantly outperforms state-of-the-art post-processing calibration methods. The code is available at github.com/yungchentang/NCToolkit, and the demo is available at huggingface.co/spaces/TrustSafeAI/NCTV.

研究动机与目标

• 为解决深度神经网络中校准性能差的关键问题，特别是在医疗诊断和自动驾驶等安全关键应用中的表现。
• 提出一种新的后处理校准框架，联合优化输入和输出变换，突破传统仅调整输出logits的校准方法。
• 从理论上证明为何联合校准在受限微熵最大化方面优于仅使用温度缩放。
• 通过实证验证，神经夹紧在多种模型和数据集上显著提升校准性能，包括在CIFAR-100和ImageNet-1K上的ResNet与RegNet。

提出的方法

• 神经夹紧对所有输入应用可学习的通用输入扰动δ，并对预训练分类器的输出logits应用可学习的温度缩放参数T。
• 通过在校准数据集上最小化聚焦损失并加入权重衰减，联合优化参数δ和T，实现数据驱动的自适应。
• 该方法采用基于一阶近似的、数据驱动的初始化方式来初始化δ，以提升训练稳定性和收敛性。
• 推理阶段，将优化后的δ*和T*分别应用于输入和logits，而无需更新原始模型参数θ。
• 该框架兼容任意预训练的K类分类器，并可通过反向传播对扰动和温度参数实现端到端校准。
• 理论分析证明，神经夹紧在受限微熵最大化方面优于仅使用温度缩放，为其优越性提供了理论依据。

实验结果

研究问题

• RQ1 联合输入与输出校准是否优于仅调整输出logits的传统后处理方法？
• RQ2 将输入扰动与温度缩放结合是否相比仅使用温度缩放具有理论优势？
• RQ3 输入扰动δ的数据驱动初始化如何影响校准过程的稳定性和性能？
• RQ4 在与输出校准结合时，输入校准在多大程度上有助于降低校准误差？
• RQ5 神经夹紧在不同架构和数据集（包括ImageNet-1K和CIFAR-100）上是否具有泛化能力？

主要发现

• 在CIFAR-100上对ResNet-110进行校准时，神经夹紧相比表现最佳的基线方法，将期望校准误差（ECE）降低了36%。
• 当联合使用输入与输出校准时，ECE进一步降低29%，证明了联合优化的叠加优势。
• 与随机初始化相比，输入扰动δ的数据驱动初始化显著提升了训练稳定性，5次运行的方差更低。
• 神经夹紧在保持高准确率（RegNetY-400MF为72.20%）的同时，显著改善了校准指标，如熵值，并将ECE降低至0.0107（使用聚焦损失）。
• 在ResNet-110上，神经夹紧实现ECE为0.0085，比仅输出校准（0.0119）低29%，比最佳基线低36%。
• 在多个模型和数据集上的所有评估指标中，该方法均优于当前最先进后处理校准技术，包括温度缩放、向量缩放、矩阵缩放以及基于ODIR的方法。