[论文解读] Uncertainty Estimation with Infinitesimal Jackknife, Its Distribution and Mean-Field Approximation

Zhiyun Lu, Eugene Ie+1 more|arXiv (Cornell University)|Jun 13, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用 9

一句话总结

本文提出均场无限小jackknife（mfIJ），一种计算高效的即插即用型不确定性估计方法，用于深度学习中的不确定性估计。该方法利用无限小jackknife技术，在无需微调的情况下构建闭式高斯伪集成，从而实现快速、准确的不确定性量化。通过将均场近似应用于通过softmax函数的高斯随机变量积分，mfIJ在不进行重训练或多次模型推理的前提下，实现了闭式不确定性估计，显著优于当前最先进方法，尤其在分布外检测任务中表现突出，同时避免了集成方法或贝叶斯神经网络在训练和推理阶段的高昂计算成本。

ABSTRACT

Uncertainty quantification is an important research area in machine learning. Many approaches have been developed to improve the representation of uncertainty in deep models to avoid overconfident predictions. Existing ones such as Bayesian neural networks and ensemble methods require modifications to the training procedures and are computationally costly for both training and inference. Motivated by this, we propose mean-field infinitesimal jackknife (mfIJ) -- a simple, efficient, and general-purpose plug-in estimator for uncertainty estimation. The main idea is to use infinitesimal jackknife, a classical tool from statistics for uncertainty estimation to construct a pseudo-ensemble that can be described with a closed-form Gaussian distribution, without retraining. We then use this Gaussian distribution for uncertainty estimation. While the standard way is to sample models from this distribution and combine each sample's prediction, we develop a mean-field approximation to the inference where Gaussian random variables need to be integrated with the softmax nonlinear functions to generate probabilities for multinomial variables. The approach has many appealing properties: it functions as an ensemble without requiring multiple models, and it enables closed-form approximate inference using only the first and second moments of Gaussians. Empirically, mfIJ performs competitively when compared to state-of-the-art methods, including deep ensembles, temperature scaling, dropout and Bayesian NNs, on important uncertainty tasks. It especially outperforms many methods on out-of-distribution detection.

研究动机与目标

• 开发一种计算高效、通用的不确定性估计方法，避免重新训练和多次模型推理。
• 解决现有方法（如贝叶斯神经网络和深度集成）在训练和推理阶段计算成本过高的问题。
• 仅利用高斯分布的一阶和二阶矩，实现闭式不确定性估计。
• 提升在分布外检测方面的性能，这是不确定性量化中的关键挑战。
• 为集成方法和贝叶斯方法提供一种实用的替代方案，在仅对现有模型进行最小修改的前提下，保持高精度。

提出的方法

• 该方法利用无限小jackknife从单个训练好的模型构建伪集成，避免重新训练。
• 将伪集成建模为高斯分布，其均值和协方差通过模型梯度推导出闭式表达式。
• 应用均场近似，对通过softmax函数的高斯随机变量进行解析积分，实现闭式概率估计。
• 通过仅使用一阶和二阶矩，近似高斯输入分布下softmax输出的期望，实现不确定性计算。
• 通过推导预测方差和不确定性的解析表达式，避免采样，显著降低推理成本。
• 该方法即插即用，仅需访问训练好的模型权重和梯度，无需对网络架构或训练流程进行任何修改。

实验结果

研究问题

• RQ1 能否从无限小jackknife中推导出一种无需采样和重新训练的闭式不确定性估计器？
• RQ2 对softmax积分采用均场近似，与基于采样的方法相比，对不确定性估计精度有何影响？
• RQ3 该方法是否能在不使用集成或贝叶斯推理的前提下，实现与现有方法相当的分布外检测性能？
• RQ4 与温度缩放、Dropout以及贝叶斯神经网络相比，mfIJ在不确定性校准和鲁棒性方面表现如何？
• RQ5 在该即插即用框架中，计算效率与不确定性质量之间的权衡如何？

主要发现

• 与当前最先进方法（如深度集成和贝叶斯神经网络）相比，mfIJ在不确定性校准和预测性能方面表现相当。
• 该方法在分布外检测任务中显著优于众多基线方法，展现出对分布偏移的优越鲁棒性。
• 通过采用均场近似，mfIJ实现了无需采样的闭式推理，显著降低了推理时间和计算成本。
• 该方法仅需一次前向传播和一次梯度计算，即可保持高不确定性质量，适用于实际部署。
• mfIJ提供了一种即插即用的解决方案，可适用于任意预训练的深度神经网络模型，无需重新训练或修改网络结构。
• 实验结果证实，该方法在分布内和分布外设置下均能有效捕捉不确定性，尤其在分布外检测任务中表现优异。