[论文解读] Uncertainty-based out-of-distribution detection requires suitable function space priors.

Francesco D’Angelo, Christian Henning|arXiv (Cornell University)|Oct 12, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用 6

一句话总结

本文挑战了贝叶斯神经网络（BNNs）因其认知不确定性而天然擅长分布外（OOD）检测的假设。它表明，标准神经网络架构通过其核函数在函数空间中诱导的先验，即使在无限宽度极限下，也无法反映数据分布的偏移，导致BNNs在缺乏显式先验设计的情况下无法有效进行OOD检测。

ABSTRACT

The need to avoid confident predictions on unfamiliar data has sparked interest in out-of-distribution (OOD) detection. It is widely assumed that Bayesian neural networks (BNNs) are well suited for this task, as the endowed epistemic uncertainty should lead to disagreement in predictions on outliers. In this paper, we question this assumption and show that proper Bayesian inference with function space priors induced by neural networks does not necessarily lead to good OOD detection. To circumvent the use of approximate inference, we start by studying the infinite-width case, where Bayesian inference can be exact due to the correspondence with Gaussian processes. Strikingly, the kernels induced under common architectural choices lead to uncertainties that do not reflect the underlying data generating process and are therefore unsuited for OOD detection. Importantly, we find this OOD behavior to be consistent with the corresponding finite-width networks. Desirable function space properties can be encoded in the prior in weight space, however, this currently only applies to a specified subset of the domain and thus does not inherently extend to OOD data. Finally, we argue that a trade-off between generalization and OOD capabilities might render the application of BNNs for OOD detection undesirable in practice. Overall, our study discloses fundamental problems when naively using BNNs for OOD detection and opens interesting avenues for future research.

研究动机与目标

• 调查贝叶斯神经网络（BNNs）是否能自然地为分布外（OOD）数据提供可靠的不确定性估计。
• 考察神经网络架构所诱导的函数空间先验在决定OOD检测性能方面的作用。
• 确定在神经网络的无限宽度极限下，即使采用精确贝叶斯推断，是否仍因核函数诱导的先验而导致OOD检测性能不佳。
• 探索是否可以在权重空间中编码合适的函数空间先验以改善OOD检测，以及在何种条件下可行。
• 评估BNNs在泛化能力与OOD检测能力之间的实际权衡。

提出的方法

• 分析贝叶斯神经网络在无限宽度极限下的情形，此时可通过与高斯过程的对应关系实现精确贝叶斯推断。
• 从常见神经网络架构（如ReLU、SELU）推导出其诱导的核函数，并评估其函数空间先验特性。
• 评估这些核函数在OOD数据上产生的不确定性估计，并与真实数据生成过程进行比较。
• 将无限宽度下的发现扩展到有限宽度网络，表明OOD行为具有一致性。
• 探索是否可在权重空间先验中编码理想的函数空间特性，尽管目前仅限于输入域的特定子集。
• 识别出BNNs中模型泛化能力与OOD检测性能之间存在根本性权衡。

实验结果

研究问题

• RQ1 具有常见架构的标准贝叶斯神经网络是否能为分布外输入提供可靠的不确定性估计？
• RQ2 神经网络核函数所诱导的函数空间先验在无限宽度极限下如何影响OOD检测性能？
• RQ3 在有限宽度BNN中观察到的OOD行为是近似推断的产物，还是根植于核结构本身？
• RQ4 是否可以将适用于OOD检测的理想函数空间特性编码到权重空间先验中？若可以，其适用范围是什么？
• RQ5 泛化能力与OOD检测能力之间的权衡在多大程度上限制了BNNs在OOD检测中的实际应用价值？

主要发现

• 常见神经网络架构在无限宽度极限下诱导的核函数，会产生与真实数据生成过程不一致的认知不确定性估计，从而破坏OOD检测的有效性。
• OOD检测的失败并非近似推断的产物，即使在无限宽度下的精确贝叶斯推断中依然存在。
• 有限宽度网络中观察到的OOD行为与无限宽度情形一致，表明该问题源于网络结构本身，而非近似误差。
• 尽管可在权重空间先验中编码理想的函数空间特性，但目前仅限于指定的输入域子集，无法推广至OOD数据。
• BNNs中模型泛化能力与OOD检测能力之间存在根本性权衡，可能使其在实践中难以作为OOD检测的有效工具。
• 因此，由于诱导的函数空间先验存在固有缺陷，即使在精确推断下，BNNs的朴素应用在OOD检测中也存在问题。