[论文解读] Neural Processes

Marta Garnelo, Jonathan Schwarz+5 more|arXiv (Cornell University)|Jul 4, 2018

Gaussian Processes and Bayesian Inference被引用 27

一句话总结

神经过程（NPs）引入了一种神经潜在变量模型，结合了高斯过程的数据效率与不确定性估计能力，以及神经网络的计算效率。通过从数据中学习隐式核函数，并采用带有全局潜在变量的编码器-解码器架构，NPs 实现了快速、灵活的函数预测，并具备不确定性量化能力，在回归、优化和上下文Bandits任务中优于基线模型。

ABSTRACT

A neural network (NN) is a parameterised function that can be tuned via gradient descent to approximate a labelled collection of data with high precision. A Gaussian process (GP), on the other hand, is a probabilistic model that defines a distribution over possible functions, and is updated in light of data via the rules of probabilistic inference. GPs are probabilistic, data-efficient and flexible, however they are also computationally intensive and thus limited in their applicability. We introduce a class of neural latent variable models which we call Neural Processes (NPs), combining the best of both worlds. Like GPs, NPs define distributions over functions, are capable of rapid adaptation to new observations, and can estimate the uncertainty in their predictions. Like NNs, NPs are computationally efficient during training and evaluation but also learn to adapt their priors to data. We demonstrate the performance of NPs on a range of learning tasks, including regression and optimisation, and compare and contrast with related models in the literature.

研究动机与目标

• 为解决高斯过程存在的高计算成本和对人工设计核函数的依赖等局限性，提出一种基于神经网络的替代方法。
• 结合神经网络的优势（计算效率与可扩展训练）与随机过程的优势（不确定性估计与推理时的适应能力）。
• 实现灵活、数据驱动的函数逼近，能够根据上下文观测自适应调整，而无需重新训练。
• 在多种任务中展示NPs的有效性，包括一维回归、图像补全、贝叶斯优化和上下文Bandits。

提出的方法

• NPs 使用全局潜在变量 z 对函数分布进行建模，以捕捉任务间的共享结构。
• 编码器将上下文点 (x_c, y_c) 处理为潜在表示，利用深度神经网络将输入映射为潜在码。
• 聚合器（如平均池化）将上下文表示汇总为单一上下文嵌入，随后用于条件化全局潜在变量 z。
• 解码器通过同时依赖上下文嵌入和全局潜在变量 z，生成目标点 (x_t, y_t) 的预测。
• 推理通过近似变分推断实现，模型学习通过单次前向传播近似真实函数后验分布。
• 模型通过基于似然的目标端到端训练，最大化给定上下文的目标输出对数似然，使用变分下界（ELBO）进行优化。

实验结果

研究问题

• RQ1 神经网络能否学习到类似高斯过程的函数分布表示（含不确定性），同时具备更优的计算效率？
• RQ2 在神经模型中学习到的数据驱动核函数，能否在函数逼近任务中超越人工设计的核函数？
• RQ3 神经过程能否通过单一统一架构在回归、图像补全和贝叶斯优化等多样化任务中实现良好泛化？
• RQ4 在少样本学习与上下文学习设置下，NPs 的性能与元学习模型（如MAML）及其他深度潜在变量模型相比如何？

主要发现

• 在贝叶斯优化和上下文Bandits任务中，NPs 达到了最先进性能，优于或匹配 MAML 和 NeuralLinear 等方法。
• 在一维回归任务中，NPs 在 5000 个点的测试集上测试损失为 1.04 ± 0.06，优于 Bayes by Backprop 和 MAML 等模型。
• 在图像补全任务中，NPs 展现出强大的泛化能力，能够生成高质量、多样化的重建结果，并具备不确定性感知预测能力。
• 在轮盘Bandits问题中，NPs 与 MAML 和 NeuralLinear 表现相当，累计奖励达到 21.45 ± 1.3，表明其在上下文决策中的强适应能力。
• 该模型在上下文规模增大时仍能高效扩展，推理复杂度为 O(n + m)，远低于标准高斯过程的 O((n + m)^3)。