[论文解读] Variational Implicit Processes

Chao Ma, Yingzhen Li+1 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference参考文献 99被引用 12

一句话总结

本文提出了变分隐式过程（VIPs），一种利用隐式随机过程对复杂函数先验进行可扩展贝叶斯推断的新框架。通过利用广义唤醒-睡眠更新，VIPs 实现了无需依赖梯度估计器的高效、闭式变分推断，在贝叶斯神经网络、高斯过程和贝叶斯LSTM中实现了最先进的不确定性估计和更低的预测误差。

ABSTRACT

We introduce the implicit processes (IPs), a stochastic process that places implicitly defined multivariate distributions over any finite collections of random variables. IPs are therefore highly flexible implicit priors over functions, with examples including data simulators, Bayesian neural networks and non-linear transformations of stochastic processes. A novel and efficient approximate inference algorithm for IPs, namely the variational implicit processes (VIPs), is derived using generalised wake-sleep updates. This method returns simple update equations and allows scalable hyper-parameter learning with stochastic optimization. Experiments show that VIPs return better uncertainty estimates and lower errors over existing inference methods for challenging models such as Bayesian neural networks, and Gaussian processes.

研究动机与目标

• 开发一种灵活的非参数贝叶斯框架，通过隐式分布对复杂函数先验进行建模。
• 通过一种高效的变分推断算法，解决隐式随机过程后验推断的不可解性问题。
• 在贝叶斯神经网络和LSTM等深度模型中，实现可扩展的超参数学习和不确定性量化。
• 统一各类模型（如数据模拟器、贝叶斯神经网络和随机过程的非线性变换）的推断框架。

提出的方法

• 提出隐式随机过程（IPs），通过非线性变换潜噪声变量定义函数先验，实现灵活的非高斯先验。
• 通过广义唤醒-睡眠更新推导出一种变分推断算法——变分隐式过程（VIPs），实现后验近似的闭式表达。
• 通过双编码器结构近似函数空间中的真实后验，避免对密度比或梯度估计器的依赖。
• 采用随机优化实现可扩展的超参数学习，支持大规模模型的高效训练。
• 在贝叶斯神经网络、高斯过程和贝叶斯LSTM中应用VIP框架，通过共享采样路径降低内存开销。
• 采用类似坐标上升的程序，通过验证集搜索实现噪声方差和逆威沙特超参数的调优。

实验结果

研究问题

• RQ1 隐式随机过程能否在非参数贝叶斯建模中作为定义良好且灵活的函数先验？
• RQ2 能否在不依赖梯度估计器或密度比近似的情况下，高效地对隐式过程进行变分推断？
• RQ3 与现有方法相比，VIP框架是否能提升贝叶斯神经网络和高斯过程中的不确定性量化和预测性能？
• RQ4 VIPs能否在复杂模型（如贝叶斯LSTM）中实现可扩展性，同时保持高质量的不确定性估计？

主要发现

• VIPs 在大规模贝叶斯LSTM推断任务中达到最先进性能，优于现有变分方法。
• 在小样本数据集上，VIPs 的测试负对数似然（NLL）为 -0.60 ± 0.01，显著优于VDO（−0.07 ± 0.01）和GP（−0.27 ± 0.00）。
• 在太阳辐射数据上，VIPs 的测试NLL为 0.08 ± 0.02，远低于SVGP（0.56 ± 0.23）和GP（0.832 ± 0.00）。
• 在清洁能源数据集上，VIPs 的测试NLL为 0.65 ± 0.01，优于VI-BNN（0.74 ± 0.01）和EP-DGP（0.98 ± 0.00）。
• 在清洁能源数据集上，VIPs 将测试均方根误差（RMSE）降低至 0.88 ± 0.02，优于VDO-LSTM（0.93 ± 0.01）和α-LSTM（1.38 ± 0.02）。
• VIP框架实现了可扩展的超参数学习，通过在训练数据中共享K条采样路径并采用低dropout率，避免了内存密集型采样。