[论文解读] Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks

Stefan Depeweg, JM Hernández-Lobato+2 more|arXiv (Cornell University)|Dec 10, 2017

Fault Detection and Control Systems参考文献 4被引用 6

一句话总结

本文提出了一种新颖的敏感性分析方法，用于量化输入特征如何影响具有潜变量的贝叶斯神经网络中的认知不确定性与随机不确定性。通过计算预测不确定性各组成部分相对于输入的梯度，该方法揭示了哪些特征驱动模型置信度（认知）或固有噪声（随机），从而为真实世界数据集上的复杂概率模型提供了可解释性。

ABSTRACT

We derive a novel sensitivity analysis of input variables for predictive epistemic and aleatoric uncertainty. We use Bayesian neural networks with latent variables as a model class and illustrate the usefulness of our sensitivity analysis on real-world datasets. Our method increases the interpretability of complex black-box probabilistic models.

研究动机与目标

• 通过分析输入特征如何影响预测不确定性，提升黑箱概率模型的可解释性。
• 将预测不确定性分解为认知（模型不确定性）和随机（数据噪声）两部分，并分析其对输入的敏感性。
• 开发一种敏感性分析框架，将标准的基于梯度的方法扩展至贝叶斯神经网络中的不确定性组成部分。
• 通过识别显著影响不确定性的特征，为模型监控与安全性提供可操作的洞察。

提出的方法

• 该方法使用带有潜变量的贝叶斯神经网络来建模复杂随机函数，并量化认知与随机不确定性。
• 应用全方差定律，将每个输出维度的预测方差分解为认知与随机两部分。
• 敏感性分数通过在测试数据上对认知与随机不确定性组成部分相对于输入特征的平均绝对梯度进行计算得到。
• 认知敏感性定义为模型权重上输出期望方差的梯度，而随机敏感性则为潜变量上期望方差的梯度。
• 该方法使用对权重和潜变量的蒙特卡洛采样（各200次）来估计不确定性组成部分及其梯度。
• 模型训练采用黑箱α-散度最小化方法，α=1.0，以优化权重和潜变量上的近似后验分布。

实验结果

研究问题

• RQ1 在贝叶斯神经网络预测中，哪些输入特征对认知不确定性的影响最为显著？
• RQ2 哪些输入特征对随机不确定性的影响最为显著，表明其依赖于未观测到的潜变量因素？
• RQ3 在多种真实世界回归数据集中，认知与随机不确定性的敏感性如何比较？
• RQ4 对不确定性组成部分的敏感性分析能否揭示与已知数据生成机制一致的有意义模式？

主要发现

• 在具有异方差噪声的模拟数据集中，该方法正确识别出输入$x_1$驱动认知不确定性，$x_2$驱动随机不确定性，与数据生成过程一致。
• 在发电厂数据集中，温度和环境压力被识别为主要的随机不确定性来源，与影响能效输出的复杂燃烧过程一致。
• 在船用推进装置数据集中，压气机进气温度与压力表现出高认知不确定性，因其在数据集中为恒定值，表明模型对分布外样本的敏感性。
• 在UCI数据集上的分析揭示了混合模式：部分问题主要受认知敏感性主导，部分受随机敏感性主导，部分则为两者结合，反映了数据集规模与内在异质性的影响。
• 敏感性分数提供了可操作的洞察，例如识别出需要安全监控的特征（高认知敏感性）或与未观测随机过程相关的特征（高随机敏感性）。