[论文解读] Robust Deep Gaussian Processes

Jeremias Knoblauch|arXiv (Cornell University)|Apr 4, 2019

Gaussian Processes and Bayesian Inference参考文献 31被引用 8

一句话总结

本文提出广义变分推断（GVI）以通过信息几何原理提升深度高斯过程（DGPs）的模型误设鲁棒性，并实现合理的不确定性量化。通过将标准似然函数替换为鲁棒的Lγ_p损失函数，并利用条件依赖的变分族，该方法在仅使用不到100行Python代码的情况下，在多个基准测试中显著提升了测试对数似然和均方根误差（RMSE）。

ABSTRACT

This report provides an in-depth overview over the implications and novelty Generalized Variational Inference (GVI) (Knoblauch et al., 2019) brings to Deep Gaussian Processes (DGPs) (Damianou & Lawrence, 2013). Specifically, robustness to model misspecification as well as principled alternatives for uncertainty quantification are motivated with an information-geometric view. These modifications have clear interpretations and can be implemented in less than 100 lines of Python code. Most importantly, the corresponding empirical results show that DGPs can greatly benefit from the presented enhancements.

研究动机与目标

• 通过合理的不确定性量化，提升深度高斯过程（DGPs）在模型误设情况下的鲁棒性。
• 应用广义变分推断（GVI）于DGPs，基于信息几何框架实现更优的散度建模。
• 开发一种可扩展且可实现的方法，在极小的代码开销下提升DGP性能。
• 评估鲁棒损失函数（Lγ_p）对大规模贝叶斯模型中测试似然和RMSE的影响。

提出的方法

• 将广义变分推断（GVI）应用于DGPs，采用编码层间条件依赖关系的条件依赖变分族。
• 采用变分族 q({F^l}, {U^l}) = ∏_{l=1}^L p(F^l|U^l, F^{l-1}, Z^{l-1}) × q(U^l)，其中 q(U^l) = N(μ^l, S^l)，以实现后验近似的可处理性。
• 通过小批量采样和重参数化技术，对证据下界（ELBO）实施双重随机优化，实现高效的梯度估计。
• 引入基于正态似然函数推导出的鲁棒损失函数 Lγ_p(θ, x_i)，确保其正值与数值稳定性，从而提升推断性能。
• 利用诱导点与核函数，推导出后验均值 μ^l 和协方差 Σ^l 的闭式表达式，实现可扩展计算。
• 采用具有维度特异性长度尺度的RBF核函数，并结合白化诱导点，以提升优化稳定性与收敛性。

实验结果

研究问题

• RQ1 在模型误设条件下，GVI能否提升深度高斯过程的鲁棒性？
• RQ2 Lγ_p鲁棒损失的使用如何影响DGPs中的不确定性量化与预测性能？
• RQ3 通过GVI实现的系统性散度重组是否优于标准VI在DGPs中的泛化性能？
• RQ4 在深度贝叶斯模型中，过度保守的不确定性量化在多大程度上会降低预测性能？

主要发现

• 与标准VI相比，所提出的基于GVI的DGP结合Lγ_p损失，在所有基准数据集上均实现了显著更低的测试对数似然和RMSE。
• 在wine数据集上，性能最佳的GVI配置将测试对数似然从0.94降至0.91，RMSE从6.8降至6.6。
• 在naval数据集上，测试对数似然从1.01降至0.99，RMSE从0.5降至0.4，表明鲁棒性显著提升。
• 在protein数据集上，测试对数似然从0.63降至0.62，RMSE从2.75降至2.70，显示出稳定的性能增益。
• 结果表明，过度保守的不确定性量化并未提升测试性能，甚至可能造成性能下降，暗示模型均值函数的自适应能力优于方差膨胀。
• 该方法仅通过少量代码修改即实现显著性能提升，扩展了Salimbeni和Deisenroth [27]的实现，代码量不足100行。