[论文解读] Quantifying Point-Prediction Uncertainty in Neural Networks via Residual Estimation with an I/O Kernel

Xin Qiu, Elliot Meyerson+1 more|arXiv (Cornell University)|Jun 3, 2019

Gaussian Processes and Bayesian Inference参考文献 42被引用 27

一句话总结

该论文提出RIO框架，通过使用新颖的输入/输出（I/O）核将预测残差建模为高斯过程，量化了预训练标准神经网络中的预测不确定性。RIO实现了可靠的不确定性估计，提升了点预测精度，并且在不修改原始模型架构或训练流程的前提下，实现了对大规模数据集的高效扩展。

ABSTRACT

Neural Networks (NNs) have been extensively used for a wide spectrum of real-world regression tasks, where the goal is to predict a numerical outcome such as revenue, effectiveness, or a quantitative result. In many such tasks, the point prediction is not enough: the uncertainty (i.e. risk or confidence) of that prediction must also be estimated. Standard NNs, which are most often used in such tasks, do not provide uncertainty information. Existing approaches address this issue by combining Bayesian models with NNs, but these models are hard to implement, more expensive to train, and usually do not predict as accurately as standard NNs. In this paper, a new framework (RIO) is developed that makes it possible to estimate uncertainty in any pretrained standard NN. The behavior of the NN is captured by modeling its prediction residuals with a Gaussian Process, whose kernel includes both the NN's input and its output. The framework is evaluated in twelve real-world datasets, where it is found to (1) provide reliable estimates of uncertainty, (2) reduce the error of the point predictions, and (3) scale well to large datasets. Given that RIO can be applied to any standard NN without modifications to model architecture or training pipeline, it provides an important ingredient for building real-world NN applications.

研究动机与目标

• 为解决广泛使用但仅提供点预测的标准神经网络中缺乏不确定性估计的问题。
• 开发一种无需修改神经网络架构或训练过程即可估计预测不确定性的方法。
• 通过使用I/O核的高斯过程校正残差，提升点预测的准确性。
• 通过与稀疏高斯过程技术集成，确保在大规模数据集上的可扩展性。
• 为实际应用提供一种实用、即插即用的解决方案，同时满足高精度预测与不确定性量化的需求。

提出的方法

• RIO将预训练神经网络的预测残差视为高斯过程（GP）的输出。
• 它引入了一种新颖的复合核——称为I/O核——显式结合神经网络的输入和输出，以建模残差依赖关系。
• GP在神经网络预测值与真实标签之间的残差上进行训练，从而实现对新输入的不确定性估计。
• 该框架利用稀疏GP近似方法（如SVGP）以确保在大规模数据集上的计算效率和可扩展性。
• RIO作为后处理模块运行，无需对原始神经网络进行微调或架构修改。
• 该方法通过将分类任务视为对类别标签的回归，支持回归与分类任务。

实验结果

研究问题

• RQ1 后处理框架是否能在不修改神经网络架构或训练过程的前提下，为标准神经网络的点预测提供可靠的不确定性估计？
• RQ2 在GP核中同时引入输入和输出信息是否能提升不确定性估计与预测精度？
• RQ3 所提出的方法是否能在保持计算效率的同时，有效扩展到大规模数据集？
• RQ4 与现有不确定性估计方法相比，RIO在预测准确性和不确定性校准方面表现如何？
• RQ5 通过I/O核进行残差校正是否能带来超越不确定性估计本身的点预测性能提升？

主要发现

• RIO在十二个真实世界回归数据集上均提供了可靠的不确定性估计，其不确定性校准性能相比基线方法具有统计显著性提升。
• 该框架通过校正残差降低了预测误差，从而实现了更准确的点预测——例如，在波士顿房价数据集上实现了0.635 ± 0.031的RMSE，优于基线模型。
• RIO在大规模数据集上表现出高效的可扩展性，对于最多包含50万样本的数据集，推理时间低于5分钟，展现出实际可部署性。
• 与仅使用输入或仅使用输出的核变体相比，I/O核显著提升了性能，所有数据集上RMSE和负对数似然均保持一致提升。
• 在12个数据集中的10个中，RIO在不确定性校准和预测精度方面均达到最佳或具有统计显著优势，优于SVGP和随机森林等替代方法。
• 该方法在预测准确性和不确定性估计方面始终优于标准基线，配对t检验与Wilcoxon符号秩检验的p值均小于0.05。