[论文解读] Quantifying Aleatoric and Epistemic Uncertainty Using Density Estimation in Latent Space.

Janis Postels, Hermann Blum+4 more|arXiv (Cornell University)|Dec 5, 2020

Adversarial Robustness in Machine Learning参考文献 58被引用 14

一句话总结

本文提出一种方法，通过在潜在空间中使用密度估计分析潜在表征的分布，来量化神经网络中的随机不确定性（aleatoric）和认知不确定性（epistemic）。结果表明，认知不确定性与潜在激活的负对数似然相关，而随机不确定性则通过这些表征条件下的预测分布的熵来捕捉，从而在分类和回归模型中验证了这两种不确定性形式。

ABSTRACT

The distribution of a neural network's latent representations has been successfully used to detect Out-of-Distribution (OOD) data. Since OOD detection denotes a popular benchmark for epistemic uncertainty estimates, this raises the question of a deeper correlation. This work investigates whether the distribution of latent representations indeed contains information about the uncertainty associated with the predictions of a neural network. Prior work identifies epistemic uncertainty with the surprise, thus the negative log-likelihood, of observing a particular latent representation, which we verify empirically. Moreover, we demonstrate that the output-conditional distribution of hidden representations allows quantifying aleatoric uncertainty via the entropy of the predictive distribution. We analyze epistemic and aleatoric uncertainty inferred from the representations of different layers and conclude with the exciting finding that the hidden repesentations of a deterministic neural network indeed contain information about its uncertainty. We verify our findings on both classification and regression models.

研究动机与目标

• 探究神经网络中潜在表征的分布是否包含预测不确定性的信息。
• 探讨潜在空间密度与认知不确定性之间的关系，特别是通过‘意外性’（负对数似然）的视角。
• 通过隐藏表征的输出条件分布的熵来量化随机不确定性。
• 评估不确定性量化在不同网络层和模型类型（分类与回归）中的表现。
• 通过实证验证，确定性神经网络在其潜在表征中固有地包含不确定性信息。

提出的方法

• 对神经网络的潜在表征应用密度估计，以建模其概率分布。
• 将认知不确定性估计为在学习到的密度模型下，潜在表征的负对数似然。
• 通过计算给定潜在表征条件下预测分布的熵，来量化随机不确定性。
• 将该方法应用于网络的多个层，以分析不确定性在网络架构中的传播。
• 在分类和回归任务上评估该方法，以评估其在不同模型类型中的泛化能力。
• 使用标准的分布外（OOD）检测基准进行实证验证，将潜在分布的意外性与不确定性相关联。

实验结果

研究问题

• RQ1 神经网络中潜在表征的分布是否包含认知不确定性的信息？
• RQ2 能否有效利用潜在激活的负对数似然来量化认知不确定性？
• RQ3 能否通过隐藏表征的输出条件分布的熵来捕捉随机不确定性？
• RQ4 不确定性在神经网络的不同层之间如何变化？
• RQ5 所提出的方法是否对分类和回归模型均有效？

主要发现

• 认知不确定性与潜在表征的意外性（负对数似然）强相关，证实其作为代理指标的有效性。
• 随机不确定性可通过给定潜在表征条件下预测分布的熵有效量化。
• 确定性神经网络的隐藏表征中包含了关于两类不确定性的有意义信息。
• 基于潜在空间密度估计的不确定性估计在不同网络层和模型架构中保持一致。
• 该方法在分类和回归任务中均实现了可靠的不确定性量化，经OOD检测基准验证。
• 研究结果支持将潜在空间密度估计作为确定性深度学习模型中通用的不确定性量化技术。