[论文解读] Transforming Gaussian Processes With Normalizing Flows

Juan Maroñas, Oliver Hamelijnck+2 more|Warwick Research Archive Portal (University of Warwick)|Nov 3, 2020

Gaussian Processes and Bayesian Inference参考文献 64被引用 9

一句话总结

本文提出了一种新型框架——变换高斯过程（Transformed Gaussian Processes, TGP），通过应用可学习的、与输入相关的归一化流来变换高斯过程先验，从而在保持计算效率的同时增强模型的表达能力。通过使用变分推断方法，TGP 在仅使用 5 个诱导点的情况下，性能可与使用 100 个诱导点的标准稀疏高斯过程相媲美，且在表达可解释约束（如有界性）方面表现优异。

ABSTRACT

Gaussian Processes (GPs) can be used as flexible, non-parametric function priors. Inspired by the growing body of work on Normalizing Flows, we enlarge this class of priors through a parametric invertible transformation that can be made input-dependent. Doing so also allows us to encode interpretable prior knowledge (e.g., boundedness constraints). We derive a variational approximation to the resulting Bayesian inference problem, which is as fast as stochastic variational GP regression (Hensman et al., 2013; Dezfouli and Bonilla,2015). This makes the model a computationally efficient alternative to other hierarchical extensions of GP priors (Lazaro-Gredilla,2012; Damianou and Lawrence, 2013). The resulting algorithm's computational and inferential performance is excellent, and we demonstrate this on a range of data sets. For example, even with only 5 inducing points and an input-dependent flow, our method is consistently competitive with a standard sparse GP fitted using 100 inducing points.

研究动机与目标

• 在不增加计算成本的前提下，将高斯过程先验的表达能力扩展至超越标准高斯过程的范围。
• 通过可学习的可逆变换，整合可解释的先验知识（如有界性或偏度）。
• 开发一种变分推断方法，保持稀疏变分高斯过程回归（O(NM² + M³)）的效率，同时支持输入相关的流变换。
• 证明 TGP 可在显著减少诱导点数量的情况下，超越标准稀疏高斯过程甚至深层高斯过程模型的性能。
• 通过参数不确定的流变换，结合贝叶斯神经网络与高斯过程先验，实现不确定性感知建模。

提出的方法

• 将参数化、可逆的归一化流（如耦合层）应用于基础高斯过程先验 f₀，生成更具表达力的先验 fK = G(f₀)，其中 G 为与输入相关的变换。
• 使用神经网络预测每个输入 X 的流参数 θ(W, X)，实现对高斯过程先验的输入特异性变形。
• 采用对 f₀ 和流参数的变分近似，结合使用诱导点的稀疏变分推断方案。
• 引入蒙特卡洛丢弃或贝叶斯神经网络层，对流中的参数不确定性进行建模，从而提升泛化能力与不确定性校准效果。
• 推导出一种摊销推断方案，其复杂度随诱导点数量线性增长，同时保持标准稀疏高斯过程的 O(NM² + M³) 复杂度。
• 支持似然和先验变换，实现对非高斯似然和非线性函数空间的灵活建模。

实验结果

研究问题

• RQ1 与输入相关的归一化流是否能在不增加计算成本的前提下，显著提升高斯过程先验的表达能力？
• RQ2 针对变换高斯过程的变分推断方案是否能在保持标准稀疏高斯过程回归效率的同时，实现对函数空间的复杂、数据驱动的变形？
• RQ3 通过贝叶斯神经网络引入流中的参数不确定性，是否能提升高斯过程模型的不确定性量化与泛化能力？
• RQ4 仅使用 5 个诱导点的 TGP 是否能在预测性能与似然度上超越使用 100 个诱导点的标准稀疏高斯过程？
• RQ5 TGP 在多大程度上可通过结构化的归一化流编码可解释的先验知识（如有界性或偏度）？

主要发现

• TGP 模型在仅使用 5 个诱导点的情况下，测试性能可与使用多层深层高斯过程相媲美，且优于使用 100 个诱导点的标准稀疏高斯过程。
• 仅使用 5 个诱导点和输入相关的流，TGP 在多个数据集上始终与或优于使用 100 个诱导点的标准稀疏高斯过程。
• 采用蒙特卡洛丢弃的流的贝叶斯公式化方法，相比点估计流，显著降低了负对数似然（NLL）得分，表明不确定性校准效果更优。
• 模型成功学习了不同输入位置的差异化变形函数，表现为不同输入处边缘分布的差异，证明了其具备输入依赖的变换能力。
• 对 f₀ 的变分后验分布未坍缩为常数分布，证实高斯过程组件在不确定性与函数学习中发挥了实质性作用，而不仅依赖于神经网络。
• 该方法为分层高斯过程扩展（如深层高斯过程与变形高斯过程）提供了更快的替代方案，在计算成本更低的同时实现了更优或相当的性能。