[论文解读] Training-Free Uncertainty Estimation for Neural Networks

Mi Lu, Hao Wang+2 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出了三种无需微调的不确定性估计方法——infer-transformation、infer-noise 和 infer-dropout，通过在推理阶段对输入施加受控扰动并分析输出方差来估计深度神经网络中的不确定性。在不进行微调或架构修改的前提下，这些方法实现了与最先进训练依赖型方法相当甚至更优的不确定性估计性能，并且还能作为信号提升模型训练效果。

ABSTRACT

Uncertainty estimation is an essential step in the evaluation of the robustness for deep learning models in computer vision, especially when applied in risk-sensitive areas. However, most state-of-the-art deep learning models either fail to obtain uncertainty estimation or need significant modification (e.g., formulating a proper Bayesian treatment) to obtain it. None of the previous methods are able to take an arbitrary model off the shelf and generate uncertainty estimation without retraining or redesigning it. To address this gap, we perform the first systematic exploration into training-free uncertainty estimation. We propose three simple and scalable methods to analyze the variance of output from a trained network under tolerable perturbations: infer-transformation, infer-noise, and infer-dropout. They operate solely during inference, without the need to re-train, re-design, or fine-tune the model, as typically required by other state-of-the-art uncertainty estimation methods. Surprisingly, even without involving such perturbations in training, our methods produce comparable or even better uncertainty estimation when compared to other training-required state-of-the-art methods. Last but not least, we demonstrate that the uncertainty from our proposed methods can be used to improve the neural network training.

研究动机与目标

• 解决预训练深度学习模型中缺乏可泛化的不确定性估计问题，尤其是在风险敏感的计算机视觉应用中。
• 克服现有方法在估计不确定性时需要微调、贝叶斯重构或架构修改的局限性。
• 使任何预训练模型都能在无需微调、重训或架构重构的情况下实现不确定性估计。
• 探究仅通过推理阶段的扰动是否能够产生与训练依赖型方法相当的稳健不确定性估计。

提出的方法

• 提出 infer-transformation：在推理阶段对输入施加小范围、可容忍的变换（如小角度旋转、裁剪），并测量输出方差。
• 引入 infer-noise：在推理阶段向输入或激活层添加受控的、小规模的噪声，并将输出方差作为不确定性代理。
• 开发 infer-dropout：在不重新训练的前提下，于推理阶段对同一网络应用随机丢弃，通过多次前向传播的方差进行测量。
• 将这些扰动下多次前向传播的方差直接用作模型不确定性的估计。
• 确保所有方法仅在推理阶段运行，无需对训练过程或模型架构进行任何修改。
• 证明这些方法生成的不确定性估计可用于重加权训练样本，从而提升模型的泛化能力。

实验结果

研究问题

• RQ1 是否可以在不微调或修改架构的情况下，可靠地估计预训练深度神经网络中的不确定性？
• RQ2 推理阶段的扰动（变换、噪声、丢弃）在不确定性估计质量上与训练依赖型贝叶斯方法相比如何？
• RQ3 这些无需微调的方法生成的不确定性估计是否能在重训过程中提升原始模型的性能？
• RQ4 不同类型的扰动（空间型、激活层型、随机型）对不确定性估计的稳定性和准确性有何影响？

主要发现

• 所提出的无需微调方法在不确定性估计性能上达到或优于最先进训练依赖型方法。
• 即使在训练阶段未引入任何扰动，这些方法也能通过推理阶段的方差分析生成可靠的不确定性估计。
• infer-noise 和 infer-dropout 生成的不确定性估计可用于重加权训练数据，从而在微调过程中提升泛化性能。
• 这些方法可广泛适用于任何预训练模型，无需架构修改或重新训练。
• infer-transformation 在空间不变性任务中表现优异，而 infer-noise 和 infer-dropout 在多种视觉基准测试中均展现出良好的泛化能力。
• 该方法使在无法进行微调的实际风险敏感应用中实现不确定性估计成为可能。