[论文解读] The Hidden Uncertainty in a Neural Networks Activations

Janis Postels, Hermann Blum+5 more|arXiv (Cornell University)|Dec 5, 2020

Adversarial Robustness in Machine Learning参考文献 59被引用 12

一句话总结

本文提出使用神经网络激活的密度作为认知不确定性与随机性不确定性的代理指标，实现无需微调的高效不确定性估计。结果表明，深层表征生成的不确定性估计与蒙特卡洛 dropout 和深度集成等计算成本较高的方法高度一致；而简单的正则化方法可进一步提升分布外检测性能，且训练开销极低。

ABSTRACT

The distribution of a neural network's latent representations has been successfully used to detect out-of-distribution (OOD) data. This work investigates whether this distribution moreover correlates with a model's epistemic uncertainty, thus indicates its ability to generalise to novel inputs. We first empirically verify that epistemic uncertainty can be identified with the surprise, thus the negative log-likelihood, of observing a particular latent representation. Moreover, we demonstrate that the output-conditional distribution of hidden representations also allows quantifying aleatoric uncertainty via the entropy of the predictive distribution. We analyse epistemic and aleatoric uncertainty inferred from the representations of different layers and conclude that deeper layers lead to uncertainty with similar behaviour as established - but computationally more expensive - methods (e.g. deep ensembles). While our approach does not require modifying the training process, we follow prior work and experiment with an additional regularising loss that increases the information in the latent representations. We find that this leads to improved OOD detection of epistemic uncertainty at the cost of ambiguous calibration close to the data distribution. We verify our findings on both classification and regression models.

研究动机与目标

• 探究神经网络激活的分布是否与认知不确定性相关，即模型对新输入的泛化能力。
• 确定隐藏表征是否可通过输出条件密度估计来量化随机性不确定性。
• 评估从潜在表征中提取的不确定性是否与深度集成和 MC dropout 等成熟但计算成本高的方法性能相当。
• 评估训练阶段正则化对不确定性估计质量及分布外检测性能的影响。
• 提供一种实用的、无需微调的不确定性估计框架，适用于分类与回归模型。

提出的方法

• 通过潜在表征的负对数似然（即惊奇度）估计认知不确定性，将低密度区域视为分布外输入的指示。
• 利用条件于潜在表征的预测分布的熵来量化随机性不确定性，从而实现回归任务中的不确定性估计。
• 训练标准神经网络，无需架构修改，随后从预训练的隐藏激活中提取不确定性。
• 在训练过程中应用基于重建的正则化损失，以提升潜在空间的信息含量，从而改善不确定性质量。
• 使用高斯混合模型（GMM）或归一化流（NF）对隐藏表征的密度进行建模，以实现不确定性估计。
• 通过分布外检测的 AUROC 和随机性不确定性与预测误差的相关性来评估不确定性性能。

实验结果

研究问题

• RQ1 隐藏激活的密度能否作为认知不确定性的可靠代理，反映模型的泛化能力？
• RQ2 隐藏表征的输出条件分布是否也能用于估计随机性不确定性，特别是在回归任务中？
• RQ3 不同网络深度的不确定性估计与 MC dropout 和深度集成等成熟方法相比表现如何？
• RQ4 在训练过程中添加重建损失是否能提升分布外检测性能，其在数据分布附近的校准性如何，是否存在权衡？
• RQ5 能否在不修改模型或重新训练的情况下，有效实现推理后不确定性估计？

主要发现

• 深层激活的密度可生成与 MC dropout 和深度集成高度一致的认知不确定性估计，且计算成本显著更低。
• 浅层表征的分布外检测更为保守，在多个分布外基准上优于深度集成，且无需额外训练。
• 在训练中加入重建损失可显著提升分布外检测性能，但导致数据分布附近校准性模糊。
• 从深层表征中估计的随机性不确定性表现出与成熟方法相似的校准行为，验证了其可靠性。
• 该方法可在无需架构修改的情况下实现推理后不确定性估计，为实际部署提供了可扩展且实用的解决方案。
• 正则化权重的选择至关重要：不同权重下模型精度相同，但数据分布附近的 AUROC 曲线差异显著，增加了最优超参数选择的难度。