[论文解读] On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks

Maximilian Seitzer, Arash Tavakoli+2 more|arXiv (Cornell University)|Mar 17, 2022

Gaussian Processes and Bayesian Inference被引用 37

一句话总结

该论文分析为什么高斯负对数似然 (NLL) 训练在概率回归中可能产生次优的均值拟合，并提出 β-NLL，一种方差加权的损失，在 NLL 与 MSE 之间插值，以同时改善均值准确性和不确定性估计。

ABSTRACT

Capturing aleatoric uncertainty is a critical part of many machine learning systems. In deep learning, a common approach to this end is to train a neural network to estimate the parameters of a heteroscedastic Gaussian distribution by maximizing the logarithm of the likelihood function under the observed data. In this work, we examine this approach and identify potential hazards associated with the use of log-likelihood in conjunction with gradient-based optimizers. First, we present a synthetic example illustrating how this approach can lead to very poor but stable parameter estimates. Second, we identify the culprit to be the log-likelihood loss, along with certain conditions that exacerbate the issue. Third, we present an alternative formulation, termed $β$-NLL, in which each data point's contribution to the loss is weighted by the $β$-exponentiated variance estimate. We show that using an appropriate $β$ largely mitigates the issue in our illustrative example. Fourth, we evaluate this approach on a range of domains and tasks and show that it achieves considerable improvements and performs more robustly concerning hyperparameters, both in predictive RMSE and log-likelihood criteria.

研究动机与目标

• 在神经网络中强调准确的本质不确定性估计的重要性。
• 诊断为什么标准的 NLL 训练可能产生稳定但较差的均值拟合。
• 提出方差加权损失（β-NLL）以减轻梯度偏差并在均值与不确定性训练之间取得平衡。
• 在合成和真实世界回归、动力学建模和生成任务中演示该方法。

提出的方法

• 将异方差高斯回归的 NLL 正式化，并识别梯度-方差依赖性为陷阱。
• 引入 β-NLL，其中每个数据点的损失贡献通过 σ^2^β 加权，权重项采用停止梯度。
• 证明 β=0 可回收 NLL，β=1 在保持不确定性估计的同时为均值提供类似于 MSE 的梯度。
• 提供实践中的 β≈0.5 的良好权衡。
• 在合成的正弦回归、UCI 回归、动力学建模以及生成/深度任务上进行经验评估，以比较 RMSE 和 NLL。

实验结果

研究问题

• RQ1 为什么基于 NLL 的训练在概率回归模型中会导致次优的均值拟合？
• RQ2 是否可以通过方差加权损失来缓解对难以预测区域的低权重化并同时提高均值准确性和校准的不确定性？
• RQ3 与 NLL 和其他不确定性损失相比，β-NLL 在合成和现实数据集上的表现如何？

主要发现

• NLL 训练可能会因为预测方差对梯度的缩放而收敛到次优的均值预测器，实质上对困难区域的采样不足。
• β-NLL 将每个样本的梯度按 σ^2^β 加权，β 在 [0,1] 之间，在 NLL 与 MSE 的行为之间插值。
• β≈0.5 通常在所有任务中提供 RMSE 与对数似然之间的最佳权衡。
• β-NLL 在动力学建模任务中对超参数的敏感性较 NLL 低，表现更稳健。
• β-NLL 提供良好校准的不确定性估计，并在 UCI、MNIST/Fashion-MNIST、NYUv2 以及合成的正弦/动力学数据集上具有竞争力甚至优越的预测精度。