[论文解读] The Gaussian Neural Process

Wessel P. Bruinsma, James Requeima+3 more|arXiv (Cornell University)|Jan 10, 2021

Gaussian Processes and Bayesian Inference参考文献 15被引用 5

一句话总结

本文提出了高斯神经过程（GNP），一种新颖的元学习模型，通过直接参数化预测分布为高斯过程，实现精确的似然计算并建模预测相关性。通过引入平移等变性与通用近似能力，GNP 在一维回归基准测试中表现优于以往的神经过程，在似然和训练范围外的泛化能力方面均达到最先进水平。

ABSTRACT

Neural Processes (NPs; Garnelo et al., 2018a,b) are a rich class of models for meta-learning that map data sets directly to predictive stochastic processes. We provide a rigorous analysis of the standard maximum-likelihood objective used to train conditional NPs. Moreover, we propose a new member to the Neural Process family called the Gaussian Neural Process (GNP), which models predictive correlations, incorporates translation equivariance, provides universal approximation guarantees, and demonstrates encouraging performance.

研究动机与目标

• 解决条件神经过程（CNPs）在建模预测相关性和生成一致样本方面的局限性。
• 开发一种元学习框架，通过高斯过程直接近似真实随机过程的后验预测映射。
• 通过将函数型KL散度松弛为有限维分布，提供一种实际、有限且行为良好的训练目标。
• 确保模型在保持闭式似然的同时，支持对任意真实GP预测映射的通用近似。
• 证明所提出的GNP能够在似然和先验协方差结构上恢复真实的GP预测映射。

提出的方法

• 通过最小化有限维分布（f.d.d.s）上的KL散度，对随机过程之间的函数型KL散度进行松弛。
• 提出高斯神经过程（GNP），将预测分布建模为由神经网络参数化的均值和协方差函数的高斯过程。
• 通过受ConvCNP启发的基于核的注意力机制实现平移等变性，确保对输入位移的不变性。
• 使用闭式似然进行训练，实现无需蒙特卡洛近似的精确优化。
• 采用函数型KL目标作为理论基础，通过将其松弛为有限维投影以确保目标的有限性和稳定性。
• 使用神经网络编码器处理上下文集并输出GP参数（均值和协方差），支持端到端训练。

实验结果

研究问题

• RQ1 能够直接参数化高斯过程的神经过程模型是否在预测不确定性校准和相关性建模方面优于标准CNPs？
• RQ2 对函数型KL目标的松弛是否能为具有随机过程的元学习提供有限且行为良好的训练目标？
• RQ3 通过恢复真实高斯过程的预测映射，能否在实证上验证GNP的通用近似保证？
• RQ4 与现有神经过程变体相比，GNP在似然和分布外及外推任务中的泛化性能如何？
• RQ5 引入平移等变性是否能提升少样本回归中的泛化能力和样本一致性？

主要发现

• 在插值任务中，GNP 的测试对数似然为 0.70 ± 0.005，优于ConvCNP（−0.80 ± 0.01）和ANP（−0.61 ± 0.01）。
• 在外推任务中，GNP 的对数似然为 0.44 ± 0.003，显著优于ConvCNP（−1.41 ± 0.007）和ANP（−1.31 ± 0.005）。
• GNP 在似然和先验协方差函数方面成功恢复了真实的GP预测映射，证明了其通用近似能力。
• 由于能够建模预测相关性，该模型生成了连贯且多样的样本，而标准CNPs则产生独立的预测。
• 闭式似然使训练更加稳定高效，避免了基于潜在变量的NP变体的不可计算性问题。
• 实证结果表明，GNP 在分布外输入上表现出良好的泛化能力，具有高似然和低不确定性。