[论文解读] Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts

Bertrand Charpentier, Daniel Zügner+1 more|arXiv (Cornell University)|Jun 16, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 60

一句话总结

Posterior Network 使用带有类别条件的正态化流来构建输入相关的 Dirichlet 后验，从而在没有 OOD 数据的情况下进行不确定性估计，并提升 OOD 检测与校准。

ABSTRACT

Accurate estimation of aleatoric and epistemic uncertainty is crucial to build safe and reliable systems. Traditional approaches, such as dropout and ensemble methods, estimate uncertainty by sampling probability predictions from different submodels, which leads to slow uncertainty estimation at inference time. Recent works address this drawback by directly predicting parameters of prior distributions over the probability predictions with a neural network. While this approach has demonstrated accurate uncertainty estimation, it requires defining arbitrary target parameters for in-distribution data and makes the unrealistic assumption that out-of-distribution (OOD) data is known at training time. In this work we propose the Posterior Network (PostNet), which uses Normalizing Flows to predict an individual closed-form posterior distribution over predicted probabilites for any input sample. The posterior distributions learned by PostNet accurately reflect uncertainty for in- and out-of-distribution data -- without requiring access to OOD data at training time. PostNet achieves state-of-the art results in OOD detection and in uncertainty calibration under dataset shifts.

研究动机与目标

• 在安全关键领域推动神经网络的可靠不确定性估计。
• 解决以 Dirichlet 为基础的先前不确定性模型在训练时需要 OOD 数据的局限性。
• 提出一个框架，在训练阶段无需访问 OOD 样本即可对分布内和分布外数据得到良好校准的不确定性。
• 利用归一化流来建模一个输入相关的类别概率后验。

提出的方法

• 预测每个输入的 Dirichlet 参数作为先验加伪计数的更新 beta^(i) = beta^(prior) + beta^(i) 其中 α^(i)=beta^(prior)+beta^(i)。
• 通过 f_theta 将输入编码为潜在变量 z，并学习类条件密度 P(z|c;phi) 通过归一化流。
• 设定 beta^(prior) = 1 (平坦先验)，并从类别特定的潜在密度与真实类别计数推导 beta^(i)。
• 端到端训练，使用结合不确定交叉熵 (UCE) 与熵正则化项的贝叶斯式损失。
• 从 Dirichlet 参数计算不确定性；分布内数据产生较低的 epistemic 不确定性并接近真实类别后验，而分布外数据则产生较高的 epistemic 不确定性。
• 在潜在空间使用密度来实现 OOD 检测，而无需显式的 OOD 样本。

实验结果

研究问题

• RQ1 模型在训练阶段是否可以在没有 OOD 数据的情况下学习一个输入相关的类别概率后验？
• RQ2 潜在空间中的类别条件密度在分布偏移下是否能实现有效的 OOD 检测与不确定性校准？
• RQ3 PostNet 如何在 ID 与 OOD 样本之间平衡 aleatoric 与 epistemic 不确定性？
• RQ4 使用贝叶斯式损失和基于密度的伪计数进行训练是否比传统的先验网络或集成方法在不确定性估计方面更有效？
• RQ5 编码器结构与密度类型（高斯混合、径向流、IAF）对性能有何影响？

主要发现

• PostNet 在训练阶段没有 OOD 数据的情况下实现了具有竞争力的准确性和置信度校准。
• 与基于 Dirichlet 的基线（包括 Prior Networks）相比，PostNet 的 OOD 检测显著提升。
• 潜在空间的基于流的密度估计在多个数据集上实现了强的 OOD 及校准性能。
• 消融实验显示贝叶斯式损失与密度估计对于鲁棒不确定性估计与 OOD 判别至关重要。
• 在 MNIST、CIFAR-10 与 Sensorless Drive 数据上的结果显示，在不同架构与数据情形下的不确定性估计表现良好。